Dimension Independent Generalization of DP-SGD for Overparameterized Smooth Convex Optimization
University of California, San Diego（加州大学圣地亚哥分校）；Google Research（谷歌研究院）；The Hong Kong University of Science and Technology（香港科技大学）
本文研究了差分私有凸学习的泛化性能。我们证明了Langevin算法的收敛性分析，可以用来获得新的广义界的差分隐私保证DP-SGD。更具体地说，通过使用最近获得的随机Langevin算法与凸目标函数的维数无关的收敛结果，我们获得了$O(n^{-1/4})$隐私保证DP-SGD的最佳超额泛化误差$\tilde{O}(n^{-1/2})$某些类的overparameterized光滑凸优化问题。这改善了以前的DP-SGD结果，包含显式的尺寸依赖关系的问题，使由此产生的泛化界限变得不适合在实际应用中使用的过参数化模型。
2022-06-03 cs.LG math.OC
Fast Convergence of Natural Gradient Descent for Overparameterized Neural Networks
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；DeepMind（深度思维）
自然梯度下降法已被证明可以有效地减轻神经网络优化中病理曲率的影响，但理论上对其收敛特性知之甚少，特别是对于\emph{nonlinear}网络。在这项工作中，我们第一次分析了自然梯度下降的收敛速度的非线性神经网络平方误差损失。我们确定了两个条件，保证有效的收敛从随机初始化：（1）雅可比矩阵（网络的输出的所有训练情况下的参数）有完整的行秩，（2）雅可比矩阵是稳定的小扰动周围的初始化。对于两层ReLU神经网络，我们证明了在非退化输入和过度参数化的假设下，这两个条件在整个训练过程中都成立。我们进一步扩展我们的分析更一般的损失函数。最后，我们证明了K-FAC，一个近似的自然梯度下降法，也收敛到全局最小值在相同的假设下，我们给出了这种收敛速度的一个界。
2019-10-28 cs.LG stat.ML
An Empirical Study on Compressed Decentralized Stochastic Gradient Algorithms with Overparameterized Models
The Chinese University of Hong Kong（香港中文大学）
本文考虑分散优化与应用到图上的机器学习。神经网络（NN）模型的规模不断增长，促使分散式随机梯度算法的先前工作，以纳入通信压缩。另一方面，最近的工作已经证明了良好的收敛性和推广性能的过参数化神经网络。在这项工作中，我们提出了一个实证分析的压缩分散随机梯度（DSG）算法与过参数化神经网络的性能。通过在MPI网络环境下的仿真，我们观察到流行的压缩DSG算法的收敛速度对神经网络的大小具有鲁棒性。我们的研究结果表明，在现有文献中的压缩DSG算法的理论和实践之间的差距。
2021-10-09 cs.DC cs.LG math.OC
Local linear convergence of gradient methods for overparameterized Gaussian mixtures
Electrical & Computer Engineering, University of Washington（华盛顿大学电气与计算机工程系）；National Institute for Theory and Mathematics in Biology（生物理论与数学国家研究所）；Amazon, Inc.（亚马逊公司）
针对过参数化高斯混合模型，提出一种交替使用短梯度步和长Polyak步的方法，实现局部线性收敛速率，克服了过参数化导致的慢收敛问题。
2026-05-29 cs.LG math.OC stat.ML
Convergence Analysis of Newton's Method for Neural Networks in the Overparameterized Limit
Mathematical Institute（数学研究所）；University of Oxford（牛津大学）；Department of Mathematics & Statistics（数学与统计学系）；Boston University（波士顿大学）
本文研究了在过参数化极限下，正则化牛顿方法训练神经网络的收敛性问题，通过分析牛顿神经切线核（NNTK）的特性，证明了在无限宽极限下，神经网络以指数速度收敛到目标数据，并解决了频谱偏置问题。
2026-09-29 cs.LG math.PR stat.ML
Generalization Analysis of Online Stochastic Gradient Descent for Overparameterized Two-Layer Neural Networks
School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）；Shanghai Key Laboratory for Contempo（上海市现代（暂未完整，按原文提取））
本文在NTK机制下分析过参数化两层神经网络在线SGD的泛化误差，提出统一框架推导最后迭代的尖锐收敛速率，并将网络宽度要求从指数降至多项式，缩小理论与实践的差距。
2026-09-29 cs.LG stat.ML
Distillation $\approx$ Early Stopping? Harvesting Dark Knowledge Utilizing Anisotropic Information Retrieval For Overparameterized Neural Network
Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）；Stanford University（斯坦福大学）
蒸馏是一种将知识从一个模型转移到另一个模型的方法，通常可以在相同的容量下实现更高的准确性。在本文中，我们的目的是提供一个理论上的理解，主要是什么有助于蒸馏。我们的答案是“早停”。假设教师网络是过度参数化的，我们认为教师网络本质上是通过提前停止从数据中获取暗知识。这可以通过一个新的概念来证明，{各向异性信息检索（AIR）}，这意味着神经网络倾向于首先拟合信息信息，然后拟合非信息信息（包括噪声）。受近年来对过参数化神经网络理论分析的启发，我们可以用神经切核（NTK）的特征空间来刻画AIR。空气促进了对蒸馏的新理解。有了这个，我们进一步利用蒸馏来细化噪声标签。我们提出了一种自蒸馏算法，在前一个训练时期从网络中顺序提取知识，以避免记住错误的标签。我们还证明，无论是理论上和经验上，自我蒸馏可以受益于不仅仅是早期停止。理论上，我们证明了该算法收敛于随机初始化的超参数化神经网络在$\ell_2$距离方面的真实标签，而之前的结果是在$0$ - $1$损失方面的收敛.理论结果保证了学习后的神经网络在训练数据上有一定的余量，从而具有更好的泛化能力。经验上，我们实现了更好的测试精度，并完全避免了早期停止，这使得算法更用户友好。
2019-10-02 cs.CV cs.IT cs.LG
Towards moderate overparameterization: global convergence guarantees for training shallow neural networks
University of California, Riverside（加州大学河滨分校）；University of Southern California（南加州大学）
许多现代神经网络架构都是在过参数化的机制中训练的，其中模型的参数超过了训练数据集的大小。充分过参数化的神经网络架构原则上具有拟合包括随机噪声的任何标签集合的能力。然而，考虑到训练环境的高度非凸性，尚不清楚一阶方法需要什么水平和种类的过参数化才能收敛到完美插值任何标签的全局最优值。最近的一些理论工作表明，对于非常宽的神经网络，其中隐藏单元的数量在训练数据的大小中是多项式大的，从随机初始化开始的梯度下降确实收敛到全局最优值。然而，在实践中，更适度的过度参数化水平似乎是足够的，并且在许多情况下，一旦参数的数量超过训练数据的大小恒定因子，过度参数化模型似乎就完美地内插训练数据。因此，现有的理论文献和实际实验之间存在着巨大的差距。在本文中，我们将采取措施缩小这一差距。聚焦于浅层神经网络和平滑激活，我们表明，（随机）梯度下降，当初始化随机收敛到一个几何速率附近的全局最优值，只要平方根的网络参数的数量超过的大小的训练数据。我们的结果还受益于快速的收敛速度，并继续适用于不可微的激活，如整流线性单元（ReLU）。
2019-02-12 cs.IT cs.LG math.IT
Convergence rates for gradient descent in the training of overparameterized artificial neural networks with piecewise affine activation
The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)（香港中文大学（深圳））
本文研究了在过参数化 regime 下，使用分段仿射激活函数的人工神经网络通过批量梯度下降优化时的收敛速度问题，证明了在神经网络宽度足够大且学习率足够小的情况下，均方误差以线性速度收敛到零。
2026-05-19 cs.LG cs.NA math.NA
Guarantees of a Preconditioned Subgradient Algorithm for Overparameterized Asymmetric Low-rank Matrix Recovery
University of Warwick（华威大学）；University of Pennsylvania（宾夕法尼亚大学）
本文提出预条件次梯度算法（OPSA），首次证明了在存在严重损坏时，从受损测量中恢复未知秩非对称低秩矩阵的线性收敛率与矩阵秩无关，并通过理论和实验验证了其有效性。
2025-05-29 cs.LG math.OC
Local SGD Optimizes Overparameterized Neural Networks in Polynomial Time
The Pennsylvania State University（宾夕法尼亚州立大学）；Wyze Labs Inc.（Wyze实验室公司）
在本文中，我们证明了局部（S）GD（或FedAvg）可以优化深度神经网络与整流线性单元（ReLU）激活函数在多项式时间。尽管Local SGD在通信高效分布式优化中优化一般光滑函数的收敛理论已经建立，但其在非光滑ReLU网络上的收敛仍然没有得到充分的理论理解。在光滑函数上的许多局部SGD分析中使用的关键性质是梯度Lipschitz性，使得局部模型上的梯度不会远离平均模型上的梯度。然而，这种体面的属性在具有非平滑ReLU激活函数的网络中不成立。我们表明，即使ReLU网络不承认梯度Lipschitzness属性，在Local SGD的动态下，局部模型和平均模型的梯度之间的差异也不会改变太多。我们通过大量的实验验证了我们的理论结果。这项工作首次展示了Local SGD在非光滑函数上的收敛性，并将为深度神经网络联邦训练的优化理论提供启发。
2022-02-22 cs.LG math.OC
A Framework for Overparameterized Learning
Alfréd Rényi Institute of Mathematics（阿尔弗雷德·雷尼数学研究所）
深度神经网络的良好经验性能的一个候选解释是一阶优化方法的隐式正则化效应。受此启发，我们证明了非凸复合优化的收敛定理，并将其应用到一个一般的学习问题，涵盖了许多机器学习应用，包括监督学习。然后，我们提出了一个深层多层感知器模型，并证明，当足够宽，它$(i)$导致收敛的梯度下降到一个全局最优的线性速率，$(ii)$受益于隐式正则化效应的梯度下降，$(iii)$是受到新的界限上的泛化误差，$(iv)$表现出懒惰的训练现象和$(v)$享受学习率跨不同的宽度转移。相应的系数，例如收敛率，随着宽度的进一步增加而提高，并且取决于数据生成分布的偶数阶矩，直到取决于层数的阶数。我们所做的唯一非温和假设是神经切线核的最小特征值在初始化时远离零的浓度，这已被证明适用于当代作品中的一些不太通用的模型。我们提出的经验证据支持这一假设以及我们的理论主张。
2023-02-13 cs.LG math.FA math.OC
Preconditioned Gradient Descent for Overparameterized Nonconvex Burer--Monteiro Factorization with Global Optimality Certification
Electrical and Computer Engineering University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校电气与计算机工程学院）；Industrial and Operations Engineering University of Michigan（密歇根大学工业与运营工程学院）
本文提出一种廉价预条件器，恢复过参数化非凸Burer-Monteiro分解中梯度下降的线性收敛速度，并使其对全局最小化器的病态条件不敏感，同时保持全局最优性认证能力。
2025-04-21 cs.LG math.OC stat.ML
Uniform convergence may be unable to explain generalization in deep learning
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
为了解释超参数化深度网络令人惊讶的良好泛化行为，最近的工作已经为深度学习开发了各种泛化范围，所有这些都基于一致收敛的基本学习理论技术。虽然众所周知，这些现有的边界中有许多在数值上很大，但通过大量的实验，我们揭示了这些边界的一个更令人关注的方面：在实践中，这些边界可以随着训练数据集的大小{ \em增加}。在我们的观察的指导下，我们提出了过参数化线性分类器和梯度下降（GD）训练的神经网络的例子，其中一致收敛可证明不能“解释泛化”-即使我们考虑到GD { \em尽可能大的范围}的隐式偏差。更准确地说，即使我们只考虑GD输出的分类器集，在我们的设置中，这些分类器的测试误差小于一些小的$ε$，我们表明，在这组分类器上应用（双侧）一致收敛只会产生大于$1-ε$的空洞的泛化保证。通过这些发现，我们对基于一致收敛的泛化界限的能力表示怀疑，以提供过度参数化深度网络泛化良好的完整解释。
2021-10-17 cs.LG stat.ML
Harmful Overfitting in Sobolev Spaces
University of California, Los Angeles（加州大学洛杉矶分校）
研究Sobolev空间中函数的泛化行为，揭示在足够正则性假设下，近似范数最小化插值器存在有害过拟合现象。
2026-01-31 cs.LG stat.ML
Memorization in Overparameterized Autoencoders
Massachusetts Institute of Technology（麻省理工学院）；The Ohio State University（俄亥俄州立大学）
深度神经网络在超参数化状态下的泛化能力已经成为一个重要的研究兴趣。我们发现，过参数化的自编码器表现出记忆，一种形式的归纳偏差，约束通过优化过程学习的功能集中在训练样本，虽然网络可以在原则上代表一个更大的功能类。特别是，我们证明了单层全连接的自动编码器项目的（非线性）跨度的训练样本的数据。此外，我们还证明了深度全连接自编码器在训练样本上学习局部收缩的映射，因此迭代自编码器会导致收敛到训练样本。最后，我们证明了深度是必要的，并提供了经验证据，证明它对于卷积自动编码器的记忆也是足够的。理解这种归纳偏差可能会揭示过度参数化的深度神经网络的泛化特性，这些特性目前无法用经典统计理论解释。
2019-09-03 cs.CV cs.LG stat.ML
Direction-Magnitude Decomposition for Low-Rank Matrix Optimization: Faster Convergence and Saddle-to-saddle Dynamics
Department of Mathematics, ETH Zurich（苏黎世联邦理工学院数学系）；Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）
提出方向-幅度分解（DMD）框架，将优化变量分解以提升效率，开发过参数化和递归两种方法，在矩阵分解中实现指数级加速收敛。
2026-07-01 cs.LG math.OC
The effect of Leaky ReLUs on the training and generalization of overparameterized networks
University of Minnesota（明尼苏达大学）
本文研究过参数化Leaky ReLU神经网络的训练与泛化误差界，证明α=-1在训练界及特定泛化情形下最优，并经数值实验验证。
2024-02-25 cs.LG
Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们分析了平均随机梯度下降的过参数化的两层神经网络回归问题的收敛性。最近发现神经切核（NTK）在显示NTK机制下基于梯度的方法的全局收敛性方面起着重要作用，其中过参数化神经网络的学习动力学几乎可以用相关的再生核Hilbert空间（RKHS）的学习动力学来表征。然而，在NTK制度中仍有进行收敛速度分析的余地。在这项研究中，我们表明，平均随机梯度下降可以实现极大极小最优收敛速度，与全局收敛保证，通过利用目标函数的复杂性和与NTK相关的RKHS。此外，我们还证明了在某些条件下，通过ReLU网络的平滑近似，可以以最佳收敛速度学习ReLU网络的NTK指定的目标函数。
2021-06-11 cs.LG stat.ML
Regularized Gauss-Newton for Optimizing Overparameterized Neural Networks
IMT School for Advanced Studies Lucca（卢cca高等研究院）；Faculty of Mathematics, University of Vienna（维也纳大学数学学院）
本文研究一种正则化广义高斯-牛顿方法，利用广义自协调函数平滑惩罚项，为过参数化两层神经网络提供自适应学习率选择，并证明其收敛性，最终有效提升了模型的泛化能力。
2024-04-23 cs.LG math.OC
On the optimization and generalization of overparameterized implicit neural networks
Iowa State University（爱荷华州立大学）
隐式神经网络在机器学习社区中变得越来越有吸引力，因为它们可以实现有竞争力的性能，但使用更少的计算资源。最近，一系列的理论工作建立了全局收敛的一阶方法，如梯度下降，如果隐式网络是过参数化。然而，由于它们一起训练所有层，它们的分析相当于只研究输出层的演化。目前还不清楚内隐层如何对训练做出贡献。因此，在本文中，我们将自己限制为只训练隐层。我们证明了全局收敛性是有保证的，即使只训练隐层。另一方面，关于隐式神经网络的训练性能何时以及如何可以推广到看不见的数据的理论理解仍然没有得到充分的探索。虽然这个问题已经在标准前馈网络中进行了研究，但隐式神经网络的情况仍然很有趣，因为隐式网络理论上有无限多层。因此，本文研究了隐式神经网络的泛化误差。具体来说，我们研究了由ReLU函数在随机初始化下激活的隐式网络的泛化。我们提供了一个泛化的界限，是初始化敏感。结果表明，梯度流与适当的随机初始化可以训练一个足够的过参数化隐式网络，以实现任意小的泛化误差。
2022-09-30 cs.LG stat.ML
DebiNet: Debiasing Linear Models with Nonlinear Overparameterized Neural Networks
University of Pennsylvania（宾夕法尼亚大学）
近年来，过参数化神经网络在各种任务上表现出了很强的经验性能，并在理论上取得了许多进展，如通用逼近性和可证明收敛到全局最小值等。本文将过参数化神经网络引入半参数模型中，以弥补推理和预测之间的差距，特别是在高维线性问题中。通过这样做，我们可以利用广泛的网络来近似滋扰函数，并一致地估计感兴趣的参数。因此，我们可以提供两个世界中最好的：神经网络的通用逼近能力和经典普通线性模型的可解释性，从而导致有效的推理和准确的预测。我们展示的理论基础，使这成为可能，并证明与数值实验。此外，我们提出了一个框架，DebiNet，在其中我们插入任意的特征选择方法，我们的半参数神经网络。DebiNet可以消除正则化估计器（例如Lasso）的偏差，并且在后选择推理和泛化误差方面表现良好。
2021-01-25 cs.LG stat.ML
A Dynamical View on Optimization Algorithms of Overparameterized Neural Networks
University of Pennsylvania（宾夕法尼亚大学）
当配备有有效的优化算法时，过参数化神经网络已经表现出高水平的性能，即使损失函数是非凸和非光滑的。虽然许多工作一直专注于通过使用梯度下降（GD）训练神经网络来理解损失动态，但在这项工作中，我们考虑了广泛的一类在实践中常用的优化算法。例如，我们表明，从动力系统的角度来看，重球（HB）方法可以收敛到全局最小的均方误差（MSE）在一个线性的速度（类似于GD），然而，Nesterov加速梯度下降（NAG）可能只收敛到全局最小次线性。我们的结果依赖于神经切线核（NTK）和具有ReLU激活的有限过参数化神经网络之间的联系，这导致分析优化算法的极限常微分方程（ODE）。我们表明，优化非凸损失的权重对应于优化一些强凸损失的预测误差。因此，我们可以利用经典的凸优化理论来理解神经网络的收敛行为。我们相信我们的方法也可以扩展到其他优化算法和网络架构。
2021-03-10 cs.LG math.DS math.OC
Dual Space Preconditioning for Gradient Descent in the Overparameterized Regime
研究双空间预条件化梯度下降的收敛性质，分析其在过参数化线性模型中的隐式偏置及收敛特性。
2026-08-12 cs.LG stat.ML
Sobolev Gradient Ascent for Optimal Transport: Barycenter Optimization and Convergence Analysis
Department of ACMS University of Notre Dame（ACMS系，诺特大学）；Department of Mathematics University of California（数学系，加州大学）；Department of Mathematics University of Southern California（数学系，南加州大学）
该研究提出Wasserstein重心的无约束凹对偶公式，推导了可扩展的Sobolev梯度上升算法，证明其达到经典次梯度下降收敛速率且无需c-凹投影，数值实验显示其性能优于现有最优传输重心求解器。
2026-04-18 cs.LG math.OC stat.ML
A Local Polyak-Lojasiewicz and Descent Lemma of Gradient Descent For Overparametrized Linear Models
Center for Innovation in Data Engineering and Science (IDEAS) Department of Statistics and Data Science, the Wharton School University of Pennsylvania（创新数据工程与科学中心（IDEAS）统计与数据科学系，沃顿商学院，宾夕法尼亚大学）；Center for Innovation in Data Engineering and Science (IDEAS) University of Pennsylvania（创新数据工程与科学中心（IDEAS）宾夕法尼亚大学）；Center for Innovation in Data Engineering and Science (IDEAS) Graduate Group in Applied Mathematics and Computational Science University of Pennsylvania（创新数据工程与科学中心（IDEAS）应用数学与计算科学研究生组，宾夕法尼亚大学）；Mathematical Institute for Data Science (MINDS) Department of Electrical and Computer Engineering Johns Hopkins University（数据科学数学研究所（MINDS）电气与计算机工程系，约翰霍普金斯大学）；Department of Electrical and Systems Engineering（电气与系统工程系；放射学系，宾夕法尼亚大学）；Department of Radiology University of Pennsylvania
本文证明两层过参数化线性网络中 PL 条件与下降引理可局部成立，并界定相关常数，从而在一般损失和宽松假设下推出 GD 线性收敛率及更优步长。
2025-05-16 cs.LG math.OC stat.ML
The Role of Symmetry in Optimizing Overparameterized Networks
McGill University（麦吉尔大学）；Mila - Quebec Artificial Intelligence Institute（魁北克人工智能研究所）
研究通过分析神经网络中的权重空间对称性，揭示参数过多如何通过两种方式促进优化：对角预条件和增加全局极小值的概率质量。
2026-05-07 cs.AI cs.LG
Demystifying the Global Convergence Puzzle of Learning Over-parameterized ReLU Nets in Very High Dimensions
这篇理论论文致力于开发一个严格的理论，以在一个具有挑战性的场景中揭开全局收敛现象的神秘面纱：在非常温和的假设下，为非常高维的数据集学习过参数化的整流线性单元（ReLU）网络。我们分析的一个主要组成部分是随机激活矩阵的细粒度分析。分解激活矩阵的基本优点是它在高维数据空间中的优化和角分布的动态之间架起了桥梁。这种基于角度的详细分析导致在每次梯度下降迭代中目标函数的梯度范数和方向曲率的渐近特征，揭示了经验损失函数在过参数化设置中具有良好的几何性质。在此过程中，我们显着提高了现有的理论界的过参数化条件和学习率非常温和的假设学习非常高维的数据。此外，我们发现的输入数据的几何和光谱特性的作用，在确定所需的过参数化的大小和全局收敛速度。所有这些线索使我们能够发现深度学习中非凸优化的一个新的几何图像：高维数据空间中的角分布$\mapsto$过参数化激活矩阵的谱$\mapsto$经验损失景观的有利几何性质$\mapsto$全局收敛现象。此外，我们的理论研究结果表明，基于梯度的非凸优化算法有更强的统计保证和更温和的过度参数化的条件下，学习非常高维的数据，这是很少探索到目前为止，比重复的理论状态。
2022-06-05 cs.LG stat.ML
Fast convergence of the Expectation Maximization algorithm under a logarithmic Sobolev inequality
Department of Statistics, University of Warwick（沃里克大学统计系）
本文提出了一种基于对数Sobolev不等式分析EM算法的新框架，证明了其在有限样本下的误差界和指数收敛性，并扩展至多种EM变体。
2025-11-18 cs.LG math.OC math.ST
Fast Convergence of Langevin Dynamics on Manifold: Geodesics meet Log-Sobolev
SUTD（新加坡科技设计大学）；Princeton（普林斯顿大学）；UC Irvine（加州大学欧文分校）
采样是一个基本的，可以说是非常重要的任务，在机器学习中有许多应用。一种从高维分布$e^{-f}$中对某个函数$f$进行采样的方法是朗之万算法（LA）。最近，即使在$f$是非凸的情况下，LA的快速收敛也取得了很多进展，特别是[53]，[39]，其中前一篇论文关注$\mathbb{R}^n$中定义的函数$f$，后一篇论文关注具有流形结构的对称性（如矩阵完成型目标）的函数。我们的工作推广了[53]的结果，其中$f$定义在流形$M$上而不是$\mathbb{R}^n$上。从技术的角度来看，我们表明，KL减少的几何速率时，分布$e^{-f}$满足一个log-Sobolev不等式$M$。
2020-12-06 cs.LG stat.ML
Precise asymptotic analysis of Sobolev training for random feature models
Center for Computational Science and Engineering, Massachusetts Institute of Technology（麻省理工学院计算科学与工程中心）；Department of Mathematics and Statistics, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校数学与统计系）；Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）
本文在参数、输入维度和数据量成比例趋于无穷的极限下，结合副本方法与算子值自由概率理论，对随机特征模型的Sobolev训练（函数加梯度回归）给出泛化误差的精确闭式刻画，并揭示梯度数据并非总能提升性能，过参数化程度应决定训练方法选择。
2025-11-04 cond-mat.dis-nn cs.LG math.PR
On the Convergence of Shallow Neural Network Training with Randomly Masked Neurons
Rice University（莱斯大学）
为了训练神经网络的所有参数，我们研究了为什么以及何时可以通过迭代地创建，训练和组合随机选择的子网络来实现这一点。最近的文献中或隐或显地出现了这种情况：例如，Dropout系列正则化技术，或者一些分布式ML训练协议，可以降低通信/计算复杂性，例如独立子网训练协议。虽然这些方法是经验研究和在实践中使用，他们往往享有部分或没有理论支持，特别是当应用于神经网络为基础的目标。在本文中，我们的重点是在懒惰训练机制中使用ReLU激活的过参数化单隐藏层神经网络。通过仔细分析$i)$子网络的神经切线核，$ii)$代理函数的梯度，以及$iii)$如何采样和组合代理函数，我们证明了线性收敛速度的训练误差-最佳点附近-一个超参数化的单隐层感知器的回归损失。我们的分析揭示了最优点周围的邻域大小对每个选定子网络的代理模型数量和局部训练步骤数量的依赖性。此外，所考虑的框架概括并提供了关于辍学训练，多样本辍学训练以及独立子网训练的新见解;对于每种情况，我们都提供了收敛结果作为我们的主要定理的推论。
2022-08-12 cs.LG
Distributionally Robust Neural Networks for Group Shifts: On the Importance of Regularization for Worst-Case Generalization
Stanford University（斯坦福大学）；Microsoft（微软）
过度参数化的神经网络在i.i.d.上的平均精度可以很高。测试集在非典型数据组上始终失败（例如，通过学习平均保持但在这样的组中不保持的伪相关性）。分布式鲁棒优化（DRO）允许我们学习模型，而不是在一组预定义的组上最小化最坏情况下的训练损失。然而，我们发现，天真地将组DRO应用于过参数化神经网络是失败的：这些模型可以完美地拟合训练数据，并且任何具有消失的平均训练损失的模型也已经具有消失的最坏情况训练损失。相反，较差的最坏情况性能来自于某些组的较差泛化。通过将组DRO模型与增加的正则化（比典型的L2惩罚或早期停止更强）相结合，我们实现了更高的最差组准确率，在自然语言推理任务和两个图像任务上提高了10-40个百分点，同时保持了较高的平均准确率。我们的研究结果表明，正则化是很重要的最坏的群推广的过参数化制度，即使它是不需要的平均推广。最后，我们引入了一个随机优化算法，收敛保证，有效地训练组DRO模型。
2020-04-02 cs.LG stat.ML
On the Convergence of Certified Robust Training with Interval Bound Propagation
University of California, Los Angeles（加州大学洛杉矶分校）
区间定界传播（IBP）是目前最先进的训练神经网络的方法的基础，当存在潜在的对抗性扰动时，它具有可证明的鲁棒性保证，而IBP训练的收敛性在现有文献中仍然未知。在本文中，我们提出了一个理论分析的收敛性IBP训练。在超参数化假设下，分析了IBP鲁棒训练的收敛性。我们表明，当使用IBP训练训练一个随机初始化的具有逻辑损失的双层ReLU神经网络时，如果我们有足够小的扰动半径和大的网络宽度，梯度下降可以以很高的概率线性收敛到零鲁棒训练误差。
2022-03-16 cs.LG
Effectiveness of Distributed Gradient Descent with Local Steps for Overparameterized Models
Halicioğlu Data Science Institute（哈利奇奥卢数据科学研究所）；University of California, San Diego（加州大学圣地亚哥分校）
本文分析了局部梯度下降在过参数化模型中收敛到零训练损失的隐含偏置，揭示了其在异构数据中仍能保持性能的原因，并扩展至局部随机梯度下降和非分离数据。
2026-03-21 cs.DC cs.LG stat.ML
Deep Neural Networks with General Activations: Super-Convergence in Sobolev Norms
本文研究了深度全连接神经网络在Sobolev空间W^{n,∞}中的逼近结果，证明其在W^{m,p}范数下的误差率优于传统数值方法，揭示了深度网络在求解偏微分方程时的超收敛特性。
2026-03-23 cs.LG cs.NA math.NA
Understanding Overparameterization in Generative Adversarial Networks
University of Maryland, College Park（马里兰大学学院公园分校）；University of Southern California（南加州大学）
生成对抗网络（GANs）等广泛的无监督深度学习方法涉及训练过参数化模型，其中模型的参数数量超过某个阈值。监督学习中的大量工作表明了模型过参数化在梯度下降（GD）收敛到全局最优解中的重要性。相比之下，无监督设置和GANs特别涉及非凸凹最小-最大优化问题，这些问题通常使用梯度下降/上升（GDA）进行训练。在非凸-凹问题中，模型超参数化在GDA收敛到全局鞍点中的作用和好处远未被理解。在这项工作中，我们提出了一个全面的分析模型overparameterization的重要性，在GANs的理论和经验。我们从理论上证明了在具有$1$层神经网络生成器和线性规划器的过参数化GAN模型中，GDA收敛到底层非凸凹min-max问题的全局鞍点。据我们所知，这是GDA在这种情况下的全球收敛的第一个结果。我们的理论是基于一个更一般的结果，适用于更广泛的一类非线性发电机和判别器，服从某些假设（包括更深的发电机和随机特征判别器）。我们还使用CIFAR-10和Celeb-A数据集上的几个大规模实验来实证研究模型过度参数化在GANs中的作用。我们的实验表明，overparameterization提高了在各种模型架构和数据集上生成的样本的质量。值得注意的是，我们观察到，overparameterization导致更快，更稳定的收敛行为的GDA全线。
2021-04-12 cs.LG stat.ML
Learning deep linear neural networks: Riemannian gradient flows and convergence to global minimizers
African Institute for Mathematical Sciences（非洲数学科学研究所）；Stellenbosch University（Stellenbosch大学）；RWTH Aachen University（亚琛工业大学）
我们研究了与从数据中学习深度线性神经网络（其中激活函数是恒等映射）相关的梯度流的收敛性。在这种情况下，网络层的组成相当于简单地将所有层的权重矩阵相乘，从而导致过度参数化问题。关于这些因子的梯度流可以被重新解释为赋以适当黎曼度量的秩- $r$矩阵流形上的黎曼梯度流。我们表明，流总是收敛到一个临界点的基础功能。此外，我们建立，对于几乎所有的初始化，流收敛到一个全局极小值值的秩$k$矩阵的流形上的一些$k\leq r$。
2020-10-15 cs.LG math.OC
On the Global Convergence of Gradient Descent for multi-layer ResNets in the mean-field regime
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在ResNet中找到参数的最优配置是一个非凸最小化问题，但一阶方法仍然可以在超参数化的情况下找到全局最优值。我们用平均场分析来研究这一现象，将ResNet的训练过程转化为梯度流偏微分方程（PDE），并研究这一限制过程的收敛特性。假设激活函数是$2$ -齐次的或部分$1$ -齐次的;正则化的ReLU满足后一个条件。我们表明，如果ResNet足够大，深度和宽度在代数上取决于精度和置信水平，一阶优化方法可以找到适合训练数据的全局最小值。
2021-11-28 cs.LG cs.NA math.NA
Sobolev acceleration for neural networks
Graduate School of Artificial Intelligence（人工智能研究生院）；Pohang University of Science and Technology（釜山科学技术大学）；Department of Mathematics（数学系）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Konkuk University（康 kuk 大学）
本文提出首个严格理论框架，证明Sobolev训练（将导数整合进损失）可加速ReLU网络收敛，通过精确公式量化改善，并经实验验证其优势可扩展至现代深度学习。
2025-09-24 cs.AI cs.LG
Preconditioned subgradient method for composite optimization: overparameterization and fast convergence
Department of Applied Mathematics and Statistics, Johns Hopkins University（应用数学与统计学系，约翰霍普金斯大学）；Edwardson School of Industrial Engineering, Purdue University（工业工程学院，普渡大学）
针对过参数化或条件不佳的光滑映射导致复合优化次梯度方法收敛慢的问题，提出Levenberg-Morrison-Marquardt次梯度方法，在温和条件下实现仅由凸函数决定的线性收敛，经多类实际问题验证有效。
2025-10-02 cs.LG math.OC stat.ML
Neural Policy Gradient Methods: Global Optimality and Rates of Convergence
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
策略梯度方法与行动者-批评者方案展示了巨大的经验成功，特别是当行动者和批评者被神经网络参数化时。然而，仍然不太清楚这种“神经”策略梯度方法是否收敛到全局最优策略，以及它们是否收敛。我们在过度参数化的制度中肯定地回答了这两个问题。详细地，我们证明了神经自然策略梯度以次线性速率收敛到全局最优策略。此外，我们表明，神经香草策略梯度次线性收敛到一个稳定点。同时，通过将不动点的次优性与神经元的表现能力联系起来，证明了在弱正则性条件下所有不动点的全局最优性.特别是，我们证明了全局最优性和收敛性的关键是演员和评论家之间的“兼容性”，这是通过共享神经架构和随机初始化演员和评论家来确保的。据我们所知，我们的分析建立了第一个全局最优性和收敛保证神经策略梯度方法。
2019-11-12 cs.LG math.OC stat.ML
Accelerated zero-order SGD under high-order smoothness and overparameterized regime
Lomonosov MSU（罗蒙诺索夫莫斯科大学）；ISP RAS（俄罗斯科学院信息问题研究所）；HSE University（高等经济大学）；MIPT（莫斯科物理技术学院）；MSU Institute for Artificial Intelligence（莫斯科大学人工智能研究所）；Innopolis University（因诺波利斯大学）；IITP RAS（俄罗斯科学院信息传输问题研究所）；Skoltech（斯科尔科沃科学技术研究院）
本文提出一种适用于高阶光滑凸随机优化问题的加速零阶随机梯度下降算法，在过参数化情形下具有最优预言机复杂度，并给出两类噪声下的收敛保证及最大可容许噪声水平估计。
2024-11-21 cs.LG math.OC
Near-Optimal Learning of Gaussian Sobolev Operators
研究如何在合理时间内设计有近似保证的替代算子，提出埃尔米特主成分分析近似算法学习高斯索伯列夫算子，该算法计算高效且具谱性质，通过误差分析和数值实验验证其有效性，实现近最优样本复杂性。
2026-07-15 cs.IT cs.LG cs.NA
Global convergence of neuron birth-death dynamics
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）；Princeton University（普林斯顿大学）；Center for Data Science, New York University（纽约大学数据科学中心）
具有大量参数的神经网络允许平均场描述，这最近已被用作“过参数化”模型的有利训练特性的理论解释。在这种情况下，梯度下降服从一个确定性偏微分方程（PDE），在适当的假设下收敛到一个全局最优解的网络与一个单一的隐藏层。在这项工作中，我们提出了一个非本地的质量输运动力学，导致一个修改后的PDE具有相同的极小。我们实现这种非局部动力学作为一个随机神经元的生-死过程，我们证明了它加快了平均场极限的收敛速度。随后，我们实现了这PDE与两类数值计划收敛到平均场方程，其中每一个可以很容易地实现神经网络与有限数量的参数。我们用两个模型来说明我们的算法，以提供加速收敛的机制的直观性。
2019-03-27 cs.LG stat.ML
Sobolev Norm Learning Rates for Conditional Mean Embeddings
MIT IDSS（麻省理工学院数据、系统与社会研究所）；MIT（麻省理工学院）
本文通过重构算子的插值理论，推导出条件均值嵌入在欠拟合设定下的显式学习率，展示了在特定参数范围内输出RKHS中的统一收敛率。
2022-02-24 cs.LG math.ST stat.ML
MSINO: Curvature-Aware Sobolev Optimization for Manifold Neural Networks
Department of Information Technology, National Institute of Technology Karnataka, Surathkal Mangalore, India（信息技术系，卡纳塔克国家理工学院，苏拉塔卡尔芒洛尔，印度）
MSINO是一种用于流形神经网络的曲率感知Sobolev优化方法，通过协变Sobolev损失提升稳定性，并提供曲率追踪的收敛保证。
2026-02-26 cs.LG
Global Convergence in Neural ODEs: Impact of Activation Functions
DePaul University（德保罗大学）；Iowa State University（爱荷华州立大学）
本文研究激活函数的光滑性与非线性对神经常微分方程训练动态的影响，并据此在过参数化条件下证明了梯度下降的全局收敛性。
2025-09-26 cs.AI cs.LG stat.ML
