Generalization Error Bounds of Gradient Descent for Learning Over-parameterized Deep ReLU Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
实证研究表明，基于梯度的方法可以学习深度神经网络（DNN），在过参数化机制中具有非常好的泛化性能，其中DNN可以很容易地适应训练数据的随机标记。最近，一系列工作在理论上解释了，通过过度参数化和适当的随机初始化，基于梯度的方法可以找到DNN训练损失的全局最小值。然而，现有的泛化误差界无法解释过参数DNN的良好泛化性能。现有的推广界的主要局限性是它们是基于一致收敛的，并且与训练算法无关。在这项工作中，我们推导出深度ReLU网络的算法相关泛化误差界，并表明在对数据分布的某些假设下，具有适当随机初始化的梯度下降（GD）能够训练一个充分过参数化的DNN，以实现任意小的泛化误差。我们的工作有助于解释过参数化深度神经网络的良好泛化性能。
2019-11-27 cs.LG math.OC stat.ML
Robust Recovery via Implicit Bias of Discrepant Learning Rates for Double Over-parameterization
University of California, Berkeley（加州大学伯克利分校）；University of Denver（丹佛大学）；New York University（纽约大学）
最近的进展表明，过参数化模型上的梯度下降的隐式偏差使得即使在没有关于内在秩的先验知识的情况下，也能够从线性测量恢复低秩矩阵。相比之下，对于从严重损坏的测量中恢复的鲁棒低秩矩阵，过度参数化导致过度拟合，而无需关于损坏的固有秩和稀疏性的先验知识。本文表明，与双过参数化的低秩矩阵和稀疏腐败，梯度下降与差异学习率可证明恢复的基础矩阵，即使没有先验知识的秩矩阵也稀疏腐败。我们进一步扩展了我们的方法，通过使用深度卷积网络对图像进行过度参数化来实现自然图像的鲁棒恢复。实验表明，我们的方法处理不同的测试图像和不同的腐败程度与一个单一的学习管道，网络宽度和终止条件不需要根据具体情况进行调整。成功的基础再次是隐含的偏见，不同的过度参数化的参数上的差异学习率，这可能会影响更广泛的应用。
2020-06-16 cs.CV cs.LG math.OC
Improving Adaptivity via Over-Parameterization in Sequence Models
Tsinghua University（清华大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
该研究聚焦序列模型中特征函数排序对回归效果的影响，提出过参数化梯度下降方法，理论验证其适配信号结构、性能优于普通梯度流，且深度过参数化可提升泛化能力，为神经网络相关研究提供新视角。
2024-10-31 cs.LG stat.ML
Depth Without the Magic: Inductive Bias of Natural Gradient Descent
University of Cambridge（剑桥大学）；Eötvös Loránd University（罗兰大学）
在梯度下降中，改变我们参数化模型的方式可以导致截然不同的优化轨迹，从而产生一系列令人惊讶的有意义的归纳偏差：识别稀疏分类器或在没有显式正则化的情况下重建低秩矩阵。这种隐式正则化被假设为深度学习中良好泛化的一个促成因素。然而，自然梯度下降对于重新参数化是近似不变的，它总是遵循相同的轨迹并找到相同的最优解。问题自然出现了：如果我们消除参数化的作用，会发生什么？会找到哪个解？会出现什么新的性质？我们描述了逻辑损失和深度矩阵分解下的可分离分类的深度线性网络中的自然梯度流的行为。我们的一些发现扩展到非线性神经网络充分，但有限的过参数化。我们证明了存在自然梯度下降无法推广的学习问题，而具有正确架构的梯度下降表现良好。
2021-11-22 cs.LG stat.ML
Kernel Stein Discrepancy Descent
CREST（经济与统计研究中心）；ENSAE（法国国立统计与经济管理学院）；Institut Polytechnique de Paris（巴黎理工学院）；CAS（中国科学院）；MINES ParisTech（巴黎高等矿业学院）；CMAP（应用数学中心）；Ecole Polytechnique（巴黎综合理工学院）；CNRS（法国国家科学研究中心）；DMA（数学系）；Ecole Normale Supérieure（巴黎高等师范学院）
在各种概率分布之间的差异中，核Stein离散性（KSD）是近年来研究的热点.我们调查其Wasserstein梯度流近似的目标概率分布$π$ $\mathbb{R}^d$，已知的归一化常数的属性。这导致了一个直接可实现的，确定性的基于分数的方法，从$π$采样，命名为KSD下降，它使用一组粒子来近似$π$。值得注意的是，由于易于处理的损失函数，KSD Descent可以利用强大的无参数优化方案，如L-BFGS;这与其他流行的基于粒子的方案形成对比，如Stein变分梯度下降算法。我们研究了KSD下降的收敛性，并证明了其实际意义。然而，我们也强调失败的情况下，表明该算法可以陷入虚假的局部极小值。
2021-05-20 cs.LG stat.ML
The Effect of Network Width on Stochastic Gradient Descent and Generalization: an Empirical Study
Google Brain（谷歌大脑）；DeepMind（深度思维）
我们研究了如何通过随机梯度下降找到的最终参数受到过参数化的影响。我们通过增加基础网络中的通道数量来生成模型族，然后执行大型超参数搜索以研究测试误差如何取决于学习率、批量大小和网络宽度。我们发现，最佳SGD超参数是由“归一化噪声尺度”，这是一个函数的批量大小，学习率，和初始化条件。在没有批量归一化的情况下，最佳归一化噪声尺度与宽度成正比。更宽的网络，具有更高的最佳噪声尺度，也可以实现更高的测试精度。这些观察结果适用于MLP，ConvNets和ResNets，以及两种不同的参数化方案（“标准”和“NTK”）。我们观察到ResNets的批量归一化也有类似的趋势。令人惊讶的是，由于最大稳定学习率是有界的，与最佳归一化噪声尺度一致的最大批量大小随着宽度的增加而减小。
2019-05-09 cs.AI cs.CV cs.LG
A global convergence theory for deep ReLU implicit networks via over-parameterization
Iowa State University（爱荷华州立大学）；The Ohio State University（俄亥俄州立大学）
隐式深度学习最近受到越来越多的关注，因为它概括了许多常用神经网络架构的递归预测规则。它的预测规则是隐式提供的平衡方程的解的基础上。虽然最近的一系列实证研究已经证明了其优越的性能，隐式神经网络的理论理解是有限的。一般来说，平衡方程在训练过程中可能不是适定的。因此，不能保证香草（随机）梯度下降（SGD）训练非线性隐式神经网络可以收敛。本文通过分析整流线性单元（ReLU）激活的隐式神经网络的梯度流来填补这一空白。对于具有ReLU激活和$n$训练样本的$m$宽度隐式神经网络，如果隐式神经网络是\textit{over-parameterized}，则随机初始化的梯度下降以平方损失函数的线性速率收敛到全局最小值。值得注意的是，与现有的关于有限层过参数化神经网络的（S）GD收敛性的工作不同，我们的收敛性结果适用于隐式神经网络，其中层数为\textit{infinite}。
2022-02-18 cs.LG math.OC stat.ML
Sobolev Acceleration and Statistical Optimality for Learning Elliptic Equations via Gradient Descent
Stanford University（斯坦福大学）
本文研究了一类广义目标函数下随机采样噪声观测值反问题求解的梯度下降Sobolev范数统计极限。我们的目标函数类包括用于核回归的Sobolev训练、深度里兹方法（DRM）和用于求解椭圆偏微分方程（PDE）的物理信息神经网络（PINN）作为特例。我们考虑一个潜在的无限维参数化我们的模型使用一个合适的再生核希尔伯特空间和一个连续的参数化的问题硬度通过定义的内核积分算子。我们证明了梯度下降在这个目标函数也可以达到统计最优性和最佳的通过数据的数量增加与样本量。基于我们的理论，我们解释了使用Sobolev范数作为训练的目标函数的隐式加速，推断当数据大小和任务难度增加时，DRM的最佳时期数变得大于PINN的数量，尽管DRM和PINN都可以达到统计最优。
2022-09-19 cs.LG cs.NA math.NA
A Quantitative Analysis of the Effect of Batch Normalization on Gradient Descent
National University of Singapore（新加坡国立大学）；Institute of High Performance Computing, A*STAR（新加坡科技研究局高性能计算研究所）
尽管其经验上的成功和最近的理论进展，一般缺乏定量分析的效果批量归一化（BN）的梯度下降的收敛性和稳定性。在本文中，我们提供了这样一个分析的简单问题的普通最小二乘（OLS）。由于梯度下降（GD）的精确动力学性质是完全已知的OLS问题，它允许我们隔离和比较BN的附加效果。更准确地说，我们表明，与GD，梯度下降BN（BNGD）收敛于任意学习率的权重，收敛保持线性温和的条件下。此外，我们量化了两个不同的来源的加速BNGD GD-一个是由于过度参数化，提高了有效的条件数，另一个是由于有一个大范围的学习率引起快速下降。这些现象将BNGD与GD区分开来，并且可以解释其大部分鲁棒性特性。数值实验定量地证实了这些发现，这进一步表明，在OLS中的BNGD的许多未被发现的属性也被定性地观察到在更复杂的监督学习问题。
2019-05-09 cs.LG stat.ML
Gradient Descent can Learn Less Over-parameterized Two-layer Neural Networks on Classification Problems
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；ENSAE（法国国家统计与经济管理学院）；CREST（法国国家经济统计与管理研究中心）
最近，一些研究已经证明了梯度下降法在双层ReLU网络中的全局收敛性和泛化能力。除少数研究外，大多数研究都集中在平方损失函数的回归问题上，并指出了神经切核的正性的重要性。另一方面，使用逻辑损失函数的分类问题的梯度下降的性能还没有得到很好的研究，进一步研究这个问题的结构是可能的。在这项工作中，我们证明了使用神经正切模型的可分性假设比神经正切核的正性条件更合理，并提供了一个精细的收敛分析的梯度下降的两层网络与光滑激活。我们的结果的一个值得注意的点是，我们的收敛性和泛化界有更好的依赖于网络的宽度相比，相关的研究。因此，我们的理论提供了一个泛化保证较少的过参数化的两层网络，而大多数研究需要更高的过参数化。
2020-03-18 cs.LG stat.ML
A Theoretical Analysis of Noise Geometry in Stochastic Gradient Descent
School of Mathematical Sciences（数学科学学院）；Peking University（北京大学）；Center for Machine Learning Research（机器学习研究中心）
本文针对小批量随机梯度下降的噪声几何结构开展理论研究，提出量化对齐强度的指标，证明过参数化模型中对齐特性的可保证性，揭示SGD逃离尖锐极小值的独特机制，并通过实验验证理论结论。
2024-02-01 cs.LG stat.ML
Condensed Stein Variational Gradient Descent for Uncertainty Quantification of Neural Networks
Cornell University（康奈尔大学）；Sandia National Laboratories（桑迪亚国家实验室）；Pasteur Labs（巴斯德实验室）
提出cSVGD方法，通过图协调与浓缩过程同时稀疏化、训练复杂模型并提供参数级不确定性量化，加速收敛，在固体力学应用中验证了有效性。
2024-12-21 cs.LG physics.comp-ph stat.ML
On the Proof of Global Convergence of Gradient Descent for Deep ReLU Networks with Linear Widths
MPI-MIS（马克斯·普朗克数学研究所）
我们给出了一个简单的证明，证明了梯度下降在训练具有标准平方损失的深度ReLU网络中的全局收敛性，并展示了它对现有技术的一些改进。特别是，虽然现有工作要求所有隐藏层都至少具有宽度$Ω(N^8)$（$N$是训练样本的数量），我们需要线性、二次或三次宽度的单个宽层，这取决于初始化的类型。与最近许多基于神经切线核（NTK）的证明不同，我们的证明不需要跟踪整个NTK矩阵的演变，或者更一般地说，不需要跟踪与训练期间激活模式变化相关的任何量。相反，我们只需要跟踪最后一个隐藏层的输出的演变，由于ReLU的Lipschitz属性，这可以更容易地完成。我们设置的一些亮点：（i）所有层都是用标准的梯度下降训练的，（ii）网络具有标准的参数化，而不是NTK的参数化，（iii）网络具有单个宽层，而不是像大多数NTK相关结果那样具有所有宽隐藏层。
2021-06-11 cs.LG stat.ML
Simplicity Suffices for Parameter Noise Injection in Stochastic Gradient Descent
Université Laval（拉瓦尔大学）
研究随机梯度下降中的参数噪声注入，提出线性层逐样本噪声注入的高效方法，并实验证明简单各向同性噪声即可达到复杂方案的优化与泛化效果。
2026-06-11 cs.LG
Generalization Guarantees of Gradient Descent for Multi-Layer Neural Networks
Hong Kong Baptist University（香港浸会大学）；The University of Hong Kong（香港大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；State University of New York at Albany（纽约州立大学奥尔巴尼分校）；University of Sydney（悉尼大学）
本文扩展了基于算法稳定性的神经网络泛化分析，针对两层和三层神经网络在一般缩放参数下建立梯度下降的稳定性与泛化保证，并推导出$O(1/\sqrt{n})$及低噪声条件下$O(1/n)$的风险速率。
2023-09-29 cs.LG stat.ML
Proximal Regret and Proximal Correlated Equilibria: A New Tractable Solution Concept for Online Learning and Games
Yale University（耶鲁大学）；MIT CSAIL（麻省理工学院CSAIL）；University of Southern California（南加州大学）；University of Virginia（弗吉尼亚大学）
本文提出介于外部遗憾与交换遗憾之间的近端遗憾概念，证明经典在线梯度下降无需修改即可达到最优近端遗憾界，并据此定义近端相关均衡，统一并拓展了在线学习与博弈论中的多种均衡概念。
2025-11-05 cs.GT cs.LG
The Implicit Bias of Gradient Descent on Generalized Gated Linear Networks
Columbia University（哥伦比亚大学）；Flatiron Institute（弗莱托恩研究所）
了解深度神经网络梯度下降训练的渐近行为对于揭示归纳偏差和提高网络性能至关重要。我们推导了一类数学上易于处理的深度非线性神经网络-门控线性网络（GLN）的无限时间训练极限，并将这些结果推广到由一般齐次多项式描述的门控网络。我们研究我们的结果的影响，首先集中在两层GLN。然后，我们将我们的理论预测应用于在MNIST上训练的GLN，并展示了架构约束和梯度下降的隐式偏差如何影响性能。最后，我们证明了我们的理论捕获了ReLU网络的大部分归纳偏差。通过明确归纳偏见，我们的框架准备通知更有效的，生物学上合理的，和强大的学习算法的发展。
2022-02-05 cs.LG q-bio.NC stat.ML
Gradient Descent Provably Optimizes Over-parameterized Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
神经网络成功的奥秘之一是随机初始化的一阶方法，如梯度下降，即使目标函数是非凸和非光滑的，也可以实现零训练损失。本文揭示了双层全连接ReLU激活的神经网络的这一惊人现象。对于具有ReLU激活和$n$训练数据的$m$隐藏节点浅层神经网络，我们证明了只要$m$足够大并且没有两个输入是并行的，随机初始化的梯度下降就以二次损失函数的线性收敛速度收敛到全局最优解。我们的分析依赖于以下观察：过度参数化和随机初始化共同限制每个权重向量在所有迭代中接近其初始化，这使我们能够利用强的类凸性质来表明梯度下降以全局线性速率收敛到全局最优值。我们相信这些见解在分析深层模型和其他一阶方法时也很有用。
2019-02-05 cs.LG math.OC stat.ML
Robust Linear Regression: Gradient-descent, Early-stopping, and Beyond
Facebook AI Research（脸书人工智能研究院）
在这项工作中，我们研究了对抗性攻击的鲁棒性，早期停止策略的梯度下降（GD）方法的线性回归。更准确地说，我们表明，早期停止GD是最佳的鲁棒性（绝对常数）对欧几里德范数对抗攻击。然而，我们表明，这种策略可以任意次优的情况下，一般的马氏攻击。这一观察结果与最近发现的分类~ \cite{Vardi2022GradientMP}的情况下，表明GD可证明收敛到非鲁棒模型是兼容的。为了缓解这个问题，我们建议改为应用GD方案对适应攻击的数据进行变换。这种数据转换相当于应用依赖于特征的学习率，我们证明了这种修改后的GD能够处理任何Mahalanobis攻击，以及在某些条件下更一般的攻击。不幸的是，对于一般攻击来说，选择这样的适应性变换可能很难。为了拯救，我们设计了一个简单易行的估计，其对抗风险在人口制度中的乘法常数1.1124内是最佳的，并且适用于任何规范。
2023-01-31 cs.LG stat.ML
Non-asymptotic Convergence of Stochastic Gradient Descent in Score-based Generative Models
Sorbonne Université and Université Paris Cité, CNRS, LPSM（索邦大学和巴黎cité大学，法国国家科学研究中心，巴黎高等师范学院）；LOPF, Califrais’ Machine Learning Lab（LOPF，Califrais机器学习实验室）
针对基于得分的生成模型训练优化性质不明问题，本文对两类场景下的随机梯度下降开展理论分析，推导收敛速率与误差边界，为实际权重选择提供理论指导。
2026-10-08 cs.LG stat.ML
Gradient descent GAN optimization is locally stable
Carnegie-Mellon University（卡内基梅隆大学）
尽管生成对抗网络（GANs）日益突出，但GANs中的优化仍然是一个知之甚少的话题。在本文中，我们分析了GAN优化的“梯度下降“形式，即，在自然设置中，我们同时在生成器和卷积器参数中采取小的梯度步骤。我们表明，即使GAN优化不对应于一个凹凸游戏（即使是简单的参数化），在适当的条件下，这个优化过程的平衡点仍然是\emph{locally asymptotically stable}为传统的GAN制定。另一方面，我们证明了最近提出的Wasserstein GAN在平衡点附近可以有非收敛极限环。受此稳定性分析的启发，我们提出了一个额外的正则化项的梯度下降GAN更新，\emph{is}能够保证局部稳定的WGAN和传统的GAN，也显示了实际的承诺，在加快收敛和解决模式坍塌。
2018-01-13 cs.AI cs.LG math.OC
Reconsidering Analytical Variational Bounds for Output Layers of Deep Networks
Criteo AI Lab（Criteo人工智能实验室）；Durham University（杜伦大学）
重新参数化技巧与变分自动编码器的结合在贝叶斯深度学习中引起了轰动，允许训练图像的真实生成模型，并大大提高了我们使用可扩展潜变量模型的能力。重新参数化的技巧是必要的模型，其中没有分析变分界限是可用的，并允许噪声梯度计算任意模型。然而，对于神经网络的某些标准输出层，分析边界是可用的，并且可以使用变分自动编码器，而不需要重新参数化技巧或任何蒙特卡罗近似。在这项工作中，我们表明，使用Jaakola和Jordan界，我们可以产生一个二进制分类层，允许贝叶斯输出层进行训练，使用标准的随机梯度下降算法。我们进一步证明，一个潜在的变量模型，利用布沙尔界多类分类允许快速训练的完全概率的潜在因素模型，即使当类的数量是非常大的。
2019-10-03 cs.LG stat.ML
Compute-Optimal Pretrain--Fine-tune in Ridge Gradient Descent
University of Oxford（牛津大学）；Shanghai Jiao Tong University（上海交通大学）
本文在岭回归梯度下降框架下，将预训练-微调计算分配建模为两阶段优化问题，并基于谱分解刻画了数据相关评估几何下的最优计算分割。
2026-09-16 cs.LG stat.ML
Stochastic Gradient Descent in the Saddle-to-Saddle Regime of Deep Linear Networks
Moirai；University of Oxford（牛津大学）；University of California, Berkeley（加州大学伯克利分校）；Iliad
研究深度线性网络中随机梯度下降在鞍点到鞍点区域的动力学，推导出各模式下的随机微分方程分解，并分析SGD噪声对特征学习的影响。
2026-04-07 cs.LG stat.ML
Gradient Descent Finds Global Minima for Generalizable Deep Neural Networks of Practical Sizes
MIT（麻省理工学院）；Harvard University（哈佛大学）
在本文中，我们从理论上证明了梯度下降可以找到一个全局最小的非凸优化的所有层的非线性深度神经网络的大小在实践中经常遇到的。与以往的理论不同，本文所发展的理论只需要实际的过参数化程度。我们的理论只要求可训练参数的数量随着训练样本数量的增加而线性增加。这使得深度神经网络的大小与实践一致，并且比先前理论所要求的小几个数量级。此外，我们证明了网络的大小的线性增加是最佳的速率，它不能得到改善，除了通过对数因子。此外，具有可训练性保证的深度神经网络被证明可以很好地推广到具有自然数据集而不是随机数据集的不可见测试样本。
2020-06-16 cs.LG cs.NE math.OC
Fast and Accurate Estimation of Low-Rank Matrices from Noisy Measurements via Preconditioned Non-Convex Gradient Descent
University of Illinois-Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出面向含噪测量的预条件非凸梯度下降方法，用于低秩矩阵估计，保证以免疫病态和过参数化的线性速率达到极小极大误差，并在6000万像素医学图像去噪中显著降噪。
2024-02-28 cs.LG math.OC stat.ML
A Bayesian Perspective on Generalization and Stochastic Gradient Descent
Google Brain（谷歌大脑）
我们考虑机器学习的两个核心问题：我们如何预测最小值是否会推广到测试集，以及为什么随机梯度下降能找到推广良好的最小值？我们的工作是对Zhang et al.（2016）的回应，他表明深度神经网络可以很容易地记住随机标记的训练数据，尽管在相同输入的真实标签上泛化得很好。我们发现，同样的现象发生在小的线性模型。这些观察结果解释了贝叶斯证据，惩罚尖锐的最小值，但不变的模型参数化。我们还证明，当一个持有固定的学习率，有一个最佳的批量大小，最大限度地提高测试集的准确性。我们建议，小的小批量引入的噪声驱动器的参数朝向最小值的证据是大的。将随机梯度下降解释为随机微分方程，我们确定了“噪声尺度”$g = ε(\frac{N}{B} - 1) \approx εN/B$，其中$ε$是学习率，$N$是训练集大小，$B$是批量大小。因此，最佳批量大小与学习速率和训练集$B_{opt} \propto εN$的大小成比例。我们验证这些预测经验。
2018-02-14 cs.AI cs.LG stat.ML
Mild Over-Parameterization Benefits Asymmetric Tensor PCA
Peking University（北京大学）
本文提出一种基于梯度下降的算法，在有限内存下通过轻度过参数化提升样本效率和问题结构适应性，实现近最优样本复杂度。
2026-04-11 cs.LG
Provably Efficient Algorithms for S- and Non-Rectangular Robust MDPs with General Parameterization
University of Maryland, College Park（马里兰大学 College Park 分校）
本文提出了一种针对鲁棒MDPs的高效算法，通过转换问题形式并引入多级蒙特卡洛梯度估计器，实现了在s-矩形和非矩形不确定性下的样本复杂性保证，显著提升了折扣和平均奖励设置下的性能。
2026-02-11 cs.LG
Gradient Descent on Neurons and its Link to Approximate Second-Order Optimization
ETH Zurich（苏黎世联邦理工学院）
二阶优化器被认为具有加速神经网络训练的潜力，但由于曲率矩阵的巨大尺寸，它们通常需要近似值在计算上易于处理。最成功的近似族是Kronecker因子，块对角曲率估计（KFAC）。在这里，我们结合了以前的工作，以评估精确的二阶更新与仔细的消融，以建立一个令人惊讶的结果：由于其近似，KFAC是不密切相关的二阶更新，特别是，它显着优于真正的二阶更新。这对人们普遍持有的信念提出了挑战，并立即提出了一个问题，即为什么KFAC表现如此出色。为了回答这个问题，我们提出的证据强烈表明，KFAC近似一阶算法，它执行梯度下降的神经元，而不是权重。最后，我们表明，这种优化器往往提高了KFAC的计算成本和数据效率。
2022-06-10 cs.LG
Stochastic Gradient Descent over P2
Institute of Science and Technology Austria（奥地利科学技术研究所）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Cornell University（康奈尔大学）
本文研究概率测度空间P2上的随机梯度下降，通过Lions可微性将问题提升至Hilbert空间，构造匹配均值和协方差的高斯随机场近似，证明其以二阶弱精度捕捉SGD动力学，为用高斯波动替代样本随机性奠定严格基础。
2026-09-16 cs.LG math.PR stat.ML
A Kronecker-factored approximate Fisher matrix for convolution layers
University of Toronto（多伦多大学）
二阶优化方法，如自然梯度下降，有可能通过校正损失函数的曲率来加速神经网络的训练。不幸的是，精确的自然梯度是不切实际的计算大型模型，大多数近似要么需要一个昂贵的迭代过程或使粗糙的近似曲率。我们提出了卷积的克罗内克因子（KFC），这是卷积网络的Fisher矩阵的一个易于处理的近似，基于反向传播导数分布的结构化概率模型。类似于最近提出的Kronecker因子近似曲率（K-FAC），近似Fisher矩阵的每个块分解为小矩阵的Kronecker积，允许有效的求逆。KFC捕获了重要的曲率信息，同时仍然对随机梯度下降（SGD）进行了高效的更新。我们表明，更新是不变的常用的重新参数化，如中心的激活。在我们的实验中，使用KFC的近似自然梯度下降能够比精心调整的SGD快几倍地训练卷积网络。此外，它能够在比SGD少10-20倍的迭代中训练网络，这表明它在分布式环境中的潜在适用性。
2016-05-23 cs.LG stat.ML
On gradient descent training under data augmentation with on-line noisy copies
Mie University（三重大学）
在机器学习中，数据增强（DA）是一种提高泛化性能的技术。在本文中，我们主要考虑了梯度下降的线性回归在DA下使用的数据集的噪声副本，其中噪声被注入到输入。我们分析了随机噪声副本新生成并在每个时期使用的情况;即，使用在线噪声拷贝的情况。因此，它被视为对通过DA方式将噪声注入到训练过程中的方法的分析;即，在线版本的DA，我们推导出了三种情况下的训练过程的平均行为，即平方误差和下的全批量训练，均方误差下的全批量和小批量训练。我们证明了，在所有情况下，用在线副本训练DA近似等于岭正则化，其正则化参数对应于注入噪声的方差。另一方面，我们证明了学习率在平方误差和下的全批和均方误差下的小批中乘以噪声拷贝数加1;即，DA与在线副本产生明显的加速训练。表观加速度和正则化效应分别来自原始数据和副本数据中的噪声。这些结果在数值实验中得到了证实。在数值实验中，我们发现我们的结果在欠参数化情况下可以近似地应用于通常的离线DA，而在过参数化情况下则不能。此外，我们还对带有离线噪声拷贝的DA下神经网络的训练过程进行了实验研究，发现我们对线性回归的分析可以应用于神经网络。
2022-06-16 cs.LG stat.ML
Stochastic Particle Gradient Descent for Infinite Ensembles
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；Japan Science and Technology Agency（日本科学技术振兴机构）
具有无限模型的系综方法的优越性能是众所周知的。这些方法大多数都是基于无穷维空间中的优化问题，并带有一定的正则化，例如，boosting方法和凸神经网络使用带有非负约束的$L^1$正则化。然而，由于处理$L^1$ -正则化的困难，这些问题需要提前停止或粗略近似来不精确地解决它。在本文中，我们提出了一种新的集成学习方法，执行在一个空间的概率测度，即我们的方法可以处理$L^1$ -约束和非负约束，在一个严格的方式。这种优化是通过提出一种通用的随机最优化方法来实现的，该方法用于通过使用基础模型上的传输图的参数化来学习概率测度。作为运行该方法的结果，获得输出无限系综的传输映射，其形成剩余型网络。对于有限维非凸问题，我们从泛函梯度方法的角度给出了与随机最优化方法一样快的收敛速度。此外，我们还证明了在我们的分析中使用的局部最优性条件的内部最优性。
2017-12-14 cs.LG math.OC stat.ML
Convergence of Implicit Gradient Descent for Training Two-Layer Physics-Informed Neural Networks
Tsinghua University, Beijing, China（清华大学）；Nanjing University of Aeronautics and Astronautics, Nanjing, China（南京航空航天大学）
本文针对过参数化两层物理信息神经网络的训练，开展隐式梯度下降的收敛性分析，推导其训练动力学，证明线性收敛速率及更宽松的网络宽度要求，并通过实验验证理论结论。
2025-08-01 cs.LG math.OC
Memorization and Optimization in Deep Neural Networks with Minimum Over-parameterization
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所（ISTA））；EPFL（洛桑联邦理工学院）
本文研究了次线性层宽设置下深层网络的神经正切核条件性，给出了参数量约 $Ω(N)$、神经元量约 $Ω(\sqrt{N})$ 的最小过参数化网络的最小 NTK 特征值下界，并证明了其记忆容量与梯度下降优化保证。
2023-05-21 cs.IT cs.LG math.IT
Tensor-on-Tensor Regression: Riemannian Optimization, Over-parameterization, Statistical-computational Gap, and Their Interplay
Data Science Institute, University of Chicago（芝加哥大学数据科学研究所）
本文研究未知秩张量对张量回归，提出黎曼梯度下降和黎曼高斯-牛顿方法，证明其在秩过度参数化下仍能线性或二次收敛到统计最优估计，并揭示高阶张量场景中适度过度参数化在样本量上几乎零成本。
2024-01-15 cs.LG math.OC math.ST
Classical and Quantum Speedups for Non-Convex Optimization via Energy Conserving Descent
Stanford University（斯坦福大学）；Stanford University, Google DeepMind（斯坦福大学，谷歌深Mind）
本文首次分析了能量守恒下降算法，提出了一种具有能量守恒噪声的随机ECD动态和量子ECD哈密顿量的量子类比，证明了在双谷目标函数中，sECD和qECD在梯度下降基础上实现指数加速，尤其在高壁垒目标中qECD进一步加速。
2026-10-05 cs.LG math.OC quant-ph
On the Theory of Continual Learning with Gradient Descent for Neural Networks
Department of Computer Science and Engineering, University of California, San Diego（加州大学圣地亚哥分校计算机科学与工程系）；Department of Computer Science and Engineering, IIT, Bombay（印度孟买理工学院计算机科学与工程系）；Halicioğlu Data Science Institute, University of California, San Diego（加州大学圣地亚哥分校Halicioğlu数据科学研究所）
本文研究了持续学习中梯度下降法的限制，通过分析具有隐藏层的二次神经网络在包含高斯噪声的XOR聚类数据集上的表现，得出了训练时间遗忘率的显式界限，并通过算法稳定性框架提供了测试时间遗忘的保证。
2026-04-20 cs.IT cs.LG math.IT
A Novel Framework for Policy Mirror Descent with General Parameterization and Linear Convergence
University of Oxford（牛津大学）；Stellantis（斯泰兰蒂斯集团）
本文提出基于镜像下降的策略优化新框架，适应一般参数化，首次保证一般参数化策略梯度方法的线性收敛，并在浅层神经网络下改进了样本复杂度。
2024-02-13 cs.LG math.OC math.ST
Robust Estimation via Robust Gradient Estimation
Carnegie Mellon University（卡内基梅隆大学）
我们提供了一个新的计算效率的估计类风险最小化。我们表明，这些估计是强大的一般统计模型：在经典的Huber ε-污染模型和重尾设置。我们的主力是一个新的强大的梯度下降的变种，我们提供的条件下，我们的梯度下降的变种提供准确的估计在一个一般的凸风险最小化问题。我们提供了具体的后果，我们的理论，线性回归，逻辑斯谛回归和估计的典型参数在指数家庭。这些结果为这些典型的统计模型提供了一些第一个计算上易处理的和可证明的鲁棒估计。最后，我们研究了我们提出的方法在合成和真实数据集上的实证性能，发现我们的方法令人信服地优于各种基线。
2018-04-20 cs.AI cs.LG stat.ML
Scaling Law for Stochastic Gradient Descent in Quadratically Parameterized Linear Regression
Peking University（北京大学）
针对以往缩放律理论研究忽略特征学习的问题，本文以二次参数化线性回归为对象，分析无限维幂律衰减数据下SGD的收敛率，明确分离有无特征学习的SGD泛化曲线并给出信息论下界，为模型学习动态提供新刻画。
2025-02-13 cs.LG
Uncertainty quantification by block bootstrap for differentially private stochastic gradient descent
Ruhr University Bochum（波鸿鲁尔大学）
针对自助法因多次查询隐私数据而难以用于差分隐私 SGD 的问题，本文提出无需调整隐私预算、计算可行的分块自助法，并从理论和模拟上验证其不确定性量化有效性。
2024-05-21 cs.CR cs.LG math.ST
Learning Deep ReLU Networks Is Fixed-Parameter Tractable
MIT（麻省理工学院）；UT-Austin（得克萨斯大学奥斯汀分校）；IAS（高等研究院）；UCLA（加州大学洛杉矶分校）
我们考虑了关于高斯输入的未知ReLU网络的学习问题，并获得了深度超过2的网络的第一个非平凡结果。我们给出了一个算法，其运行时间是一个固定的多项式在周围的维度和一些（指数大）的功能，只有网络的参数。我们的边界取决于隐藏单元的数量，深度，权重矩阵的谱范数，以及整个网络的Lipschitz常数（我们证明了对Lipschitz常数的一些依赖是必要的）。我们还给出了一个界，是双指数的网络的大小，但独立的谱范数。这些结果可以证明不能使用基于梯度的方法获得，并给出了一类有效学习的神经网络的第一个例子，梯度下降将无法学习。相比之下，之前的工作，深度为3或更高的网络学习需要在环境维度上的指数时间，即使上述参数是由一个常数的限制。此外，深度2情况下的所有先前工作都需要条件良好的权重和/或正系数来获得有效的运行时间。我们的算法不需要这些假设。我们的主要技术工具是一种过滤PCA，可用于迭代地恢复第一层隐藏单元所跨越的子空间的近似基础。我们的分析利用新的结构结果，从热带几何格多项式。
2020-09-28 cs.DS cs.LG stat.ML
Noise Regularizes Over-parameterized Rank One Matrix Recovery, Provably
ByteDance（字节跳动）；Georgia Tech（佐治亚理工学院）
我们研究了噪声在学习过参数化模型的优化算法中的作用。具体来说，我们考虑恢复秩一矩阵$Y^*\in R^{d\times d}$从噪声观测$Y$使用过参数化模型。我们用$XX^\top$参数化秩一矩阵$Y^*$，其中$X\in R^{d\times d}$。然后，我们表明，在温和的条件下，估计，获得随机扰动梯度下降算法使用平方损失函数，达到均方误差$O(σ^2/d)$，其中$σ^2$是观测噪声的方差。相比之下，没有随机扰动的梯度下降估计得到的均方误差仅为$O(σ^2)$。我们的结果部分地证明了噪声在学习过参数模型时的隐正则化效应，并为训练过参数神经网络提供了新的理解。
2022-02-07 cs.LG
Efficient Low-Tubal-Rank Tensor Estimation via Alternating Preconditioned Gradient Descent
Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；Hong Kong Baptist University（香港浸会大学）；Xi’an Jiaotong University（西安交通大学）
本文提出了一种交替预条件梯度下降算法，用于高效解决低管状秩张量估计问题，实现线性收敛并独立于张量条件数。
2025-12-23 cs.LG math.OC
Curl Descent: Non-Gradient Learning Dynamics with Sign-Diverse Plasticity
Département d’Études Cognitives（认知研究系）；Edmond and Lily Safra Center for Brain Sciences（埃德蒙与莉莉·萨弗脑科学中心）；École normale supérieure - PSL（巴黎高等师范学院-PSL）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文探讨了生物神经网络学习过程中可能存在的非梯度'旋度'组件，通过分析抑制-兴奋连接网络和Hebbian/反Hebbian可塑性，发现非梯度动态在优化损失函数时的作用，揭示了特定架构支持鲁棒学习的机制。
2026-04-28 cs.LG
Fast Convergence of Random Reshuffling under Over-Parameterization and the Polyak-Łojasiewicz Condition
University of British Columbia（不列颠哥伦比亚大学）
本文研究了过参数化设置下随机重排(RR)相比随机梯度下降(SGD)的收敛优势，证明了在Polyak-Łojasiewicz函数类中，当样本数小于弱增长条件参数与条件数乘积或小于强增长条件参数时，RR能优于SGD。
2023-04-02 cs.LG math.OC
On Tractable $Φ$-Equilibria in Non-Concave Games
Yale University（耶鲁大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；University of Southern California（南加州大学）；University of Virginia（弗吉尼亚大学）
本文研究非凹博弈中可计算的$\Phi$-均衡，证明有限修改族存在高效非耦合学习算法，无限局部修改族在一阶平稳状态内可由在线梯度下降高效收敛，而超越该状态则计算难解。
2025-04-20 cs.GT cs.LG
Convergence Analysis of Natural Gradient Descent for Over-parameterized Physics-Informed Neural Networks
Tsinghua University, Beijing, China（清华大学，北京，中国）；Nanjing University of Aeronautics and Astronautics, Nanjing, China（南京航空航天大学，南京，中国）
针对过参数化两层PINNs训练中梯度下降收敛慢、学习率受Gram矩阵约束的问题，推导平滑激活函数下Gram矩阵正定性，分析自然梯度下降收敛性，证明其学习率达O(1)且收敛与Gram矩阵无关，平滑激活下为二次收敛，经实验验证。
2025-06-13 cs.LG
Optimizing model-agnostic Random Subspace ensembles
University of Liège（列日大学）
提出了一种与模型无关的监督学习集成方法。所提出的方法是基于随机子空间的参数化版本，其中每个基础模型是从根据伯努利分布采样的特征子集中学习的。参数优化使用梯度下降来执行，并且通过使用重要性采样方法来使其易于处理，该方法避免了在每个梯度下降步骤之后对基础模型的频繁重新训练。因此，通过优化特征选择概率，可以自动调整参数随机子空间中的随机化程度。这是优于标准随机子空间方法的优点，其中随机化程度由超参数控制。此外，优化的特征选择概率可以被解释为特征重要性分数。我们的算法还可以很容易地将任何可微正则化项强加给这些重要性分数的约束。
2023-01-20 cs.LG
Practical and Matching Gradient Variance Bounds for Black-Box Variational Bayesian Inference
University of Pennsylvania（宾夕法尼亚大学）；North Carolina State University（北卡罗来纳州立大学）
本文证明黑盒变分推断在光滑二次增长对数似然下满足对应 SGD 的 $ABC$ 条件的匹配梯度方差界，并推广至非线性协方差参数化，揭示均值场参数化更优的维度依赖。
2023-06-04 cs.LG math.OC stat.CO
Decoupled Descent: Exact Test Error Tracking Via Approximate Message Passing
Statistics and Data Science, Yale University（耶鲁大学统计与数据科学）
本文提出解耦下降算法，通过近似消息传递理论，在高斯混合模型中实现训练误差与测试误差的等价性，验证了零成本验证和100%数据利用的可行性，并在XOR分类和噪声MNIST等任务中表现出色。
2026-04-30 cs.IT cs.LG math.IT
From Symmetry to Geometry: Tractable Nonconvex Problems
Rutgers University（罗格斯大学）；University of Michigan（密歇根大学）；Columbia University（哥伦比亚大学）
随着科学和工程变得越来越数据驱动，优化的作用已经扩展到几乎涉及数据分析管道的每个阶段，从信号和数据采集到建模和预测。实际中遇到的优化问题往往是非凸的。虽然各个问题面临的挑战各不相同，但非凸性的一个常见来源是数据或测量模型中的非线性。非线性模型通常表现出对称性，创造出复杂的、非凸的客观景观，具有多个等价解。然而，简单的方法（例如，梯度下降）在实践中常常表现得令人惊讶地好。本综述的目的是突出一类易处理的非凸问题，这可以通过对称性的镜头来理解。这些问题表现出一个特征几何结构：局部极小是一个单一的“地面真理”解决方案的对称副本，而其他临界点发生在地面真理的对称副本的平衡叠加，并在打破对称的方向上表现出负曲率。这种结构使有效的方法，以获得全球最小。我们讨论的例子，这种现象所产生的广泛的问题，在成像，信号处理和数据分析。我们强调对称性在塑造客观景观中的关键作用，并讨论旋转对称性和离散对称性的不同作用。这一领域是丰富的观察到的现象和开放的问题，我们通过突出未来的研究方向关闭。
2022-07-08 cs.CV cs.IT cs.LG
