Regularized Gradient Clipping Provably Trains Wide and Deep Neural Networks
The University of Manchester（曼彻斯特大学）；University of Liverpool（利物浦大学）
本文提出正则化梯度裁剪算法 δ-GClip，通过利用 PL* 条件设计步长调度，首次可证明地训练宽而深的神经网络至全局最优，并在现代 transformer 架构上验证了其竞争力。
2025-04-08 cs.LG math.OC
Provably Faster Gradient Descent via Long Steps
Johns Hopkins University（约翰斯·霍普金斯大学）
本研究通过计算机辅助分析，证明在光滑凸优化中允许非恒定长步长的梯度下降虽短期可能上升，但长期收敛更快，并提出达到$O(1/T\log T)$速率的猜想及数值验证。
2024-02-05 cs.LG cs.NA math.NA
Provably Efficient Off-Policy Adversarial Imitation Learning with Convergence Guarantees
Division of Systems Engineering（系统工程系）；Department of Computer Science（计算机科学系）；Amazon Robotics（亚马逊机器人）；Department of Electrical and Computer Engineering（电气与计算机工程系）
研究离策略对抗模仿学习算法的收敛特性与样本复杂性，证明重用特定策略生成的样本不影响收敛保证，且离策略更新的分布转移误差被更多数据带来的好处主导，为离策略AIL算法样本效率提供理论支持。
2026-07-09 cs.LG
LoRA Training Provably Converges to a Low-Rank Global Minimum or It Fails Loudly (But it Probably Won't Fail)
Harvard University（哈佛大学）
本文在无线性化假设下分析LoRA损失景观，证明在通用状态下训练要么收敛到低秩小幅值全局最小值，要么收敛到高秩大幅值解，并揭示零初始化与权重衰减诱导的隐式偏置使LoRA通常成功找到全局最小值。
2025-06-03 cs.LG
Full Gradient DQN Reinforcement Learning: A Provably Convergent Scheme
INRIA Sophia Antipolis（法国国家信息与自动化研究所索菲亚·安蒂波利斯）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）
本研究针对DQN强化学习算法的理论缺陷，基于常微分方程方法分析其随机逼近特性，提出了具备可靠理论基础的改进方案FG-DQN，实验验证其在样本问题上性能优于原始DQN。
2021-05-04 cs.LG math.OC math.PR
Reconstructing Training Data from Model Gradient, Provably
New York University（纽约大学）；Princeton University（普林斯顿大学）
该研究证明仅通过随机参数下的单次模型梯度查询即可完整重构训练样本，提出基于张量分解的高效重构算法，指出这类可证明的攻击对联邦学习等场景的隐私存在潜在严重威胁。
2023-06-10 cs.CR cs.LG stat.ML
ProxSkip: Yes! Local Gradient Steps Provably Lead to Communication Acceleration! Finally!
CNRS（法国国家科学研究中心）；ENS（巴黎高等师范学院）；Inria Sierra（法国国家信息与自动化研究所Sierra项目组）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
我们介绍ProxSkip -一个令人惊讶的简单和证明有效的方法，用于最小化一个光滑（$f$）和一个昂贵的非光滑可逼近（$ψ$）函数的总和。解决此类问题的规范方法是通过近端梯度下降（ProxGD）算法，该算法基于每次迭代中对$f$的梯度和$ψ$的prox算子的评估。在这项工作中，我们特别感兴趣的制度中，评估的prox是昂贵的相对于评估的梯度，这是在许多应用程序中的情况。ProxSkip允许在大多数迭代中跳过昂贵的prox运算符：虽然其迭代复杂度为$\mathcal{O}\left(κ\log \frac{1}{\varepsilon}\right)$，其中$κ$是$f$的条件数，但prox求值的数量仅为$\mathcal{O}\left(\sqrtκ \log \frac{1}{\varepsilon}\right)$。我们的主要动机来自于联邦学习，其中梯度算子的评估对应于在所有设备上独立地采取局部GD步骤，而prox的评估对应于梯度平均形式的（昂贵的）通信。在这种情况下，ProxSkip提供了一个有效的加速通信复杂性。不像其他本地梯度型方法，如FedAvg，SCAFFOLD，S-Local-GD和FedLin，其理论上的通信复杂性比差，或在最佳匹配，香草GD在异构数据制度，我们得到了一个可证明的和大的改进，没有任何异质性约束的假设。
2023-03-24 cs.LG math.OC
Transformers Trained via Gradient Descent Can Provably Learn a Class of Teacher Models
The University of Hong Kong（香港大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文研究了通过Transformer学习各类教师模型的理论基础，证明单层Transformer能恢复教师模型的所有参数块并达到最优损失，同时展示其在分布外数据上的泛化能力。
2026-03-24 cs.LG
Provably Fast Convergence of Independent Natural Policy Gradient for Markov Potential Games
Northeastern University（东北大学）；Texas A&M University（德克萨斯A&M大学）
本文研究马尔可夫势博弈中多智能体强化学习的独立自然策略梯度算法，通过引入次优性间隙，证明其在O(1/ε)次迭代内达到ε-纳什均衡，改进了此前O(1/ε^2)的结果，并通过合成势博弈和拥堵博弈实验验证了理论界。
2023-10-27 cs.LG math.OC
Adaptive Gradient Methods Can Be Provably Faster than SGD after Finite Epochs
Bytedance AI Lab（字节跳动人工智能实验室）；Peking University（北京大学）；Ohio State University（俄亥俄州立大学）
自适应梯度法因其高效性而受到机器学习界的广泛关注。然而，它们在实践中的加速效果，特别是在神经网络训练中，很难从理论上分析。理论收敛结果和实际性能之间的巨大差距阻碍了对现有优化器的进一步理解和更先进的最优化方法的发展。在本文中，我们提供了自适应梯度法一个新的分析与额外的温和的假设，并修改AdaGrad为\radagrad匹配一个更好的可证明的收敛速度。为了找到一个$ε$ -近似的一阶驻点在非凸目标，我们证明随机洗牌\radagrad实现$\tilde{O}(T^{-1/2})$收敛速度，这是显着改善的因素$\tilde{O}(T^{-1/4})$和$\tilde{O}(T^{-1/6})$相比，现有的自适应梯度法和随机洗牌SGD，分别。据我们所知，这是第一次证明，自适应梯度法可以确定性地比SGD有限时期后更快。此外，我们进行了全面的实验，以验证额外的温和的假设和加速效果受益于二阶矩和随机洗牌。
2020-06-12 cs.LG math.OC
Provably Convergent Decentralized Optimization over Directed Graphs under Generalized Smoothness
Department of Electrical and Computer Engineering, Clemson University（电气与计算机工程系，克莱姆森大学）
本文提出了一种在一般光滑性下具有证明收敛性的去中心化优化框架，通过梯度跟踪与裁剪技术，在无界梯度不一致性条件下实现更稳定的收敛性能。
2026-01-07 cs.LG math.OC
Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data
Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）
本文从特征学习理论角度证明标准训练偏向学习非鲁棒特征从而产生对抗样本，而对抗训练可证明增强鲁棒特征学习并抑制非鲁棒特征学习，并在MNIST、CIFAR10和SVHN上验证了理论结论。
2025-02-07 cs.LG
Provably Correct Automatic Subdifferentiation for Qualified Programs
University of Washington, Seattle（华盛顿大学西雅图分校）；University of Southern California（南加州大学）
廉价梯度原理（Griewank 2008）--计算标量值函数梯度的计算成本几乎相同（通常在$5$的因子内），因为简单地计算函数本身-在优化中具有中心重要性;它允许我们快速获得标量损失函数的（高维）梯度，其随后用于基于黑盒梯度的优化过程。目前的情况在计算次导数方面有明显的不同：广泛使用的ML库，包括TensorFlow和PyTorch，即使在简单的例子中也不能正确计算（广义）次导数。这项工作考虑的问题：是否有一个便宜的次梯度原则？我们的主要结果表明，在一定的限制下，我们的图书馆的非光滑函数（标准的非线性规划），可证明正确的广义次导数可以计算的计算成本是在一个（无量纲）因子的$6$的计算标量函数本身的成本。
2019-01-14 cs.LG math.OC stat.ML
Leveraging Analytic Gradients in Provably Safe Reinforcement Learning
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出首个有效安全防护方法，用于解析梯度强化学习，通过改进映射和梯度公式，结合先进算法和可微仿真，验证了安全防护对性能无影响。
2026-05-07 cs.AI cs.LG cs.RO
Learning Provably Improves the Convergence of Gradient Descent
Xiamen University（厦门大学）；The Chinese University of Hong Kong（香港中文大学）
本研究提出了一种学习优化框架，通过理论证明和实验验证，展示了其在提升梯度下降收敛性和优化性能方面的显著优势。
2025-12-23 cs.LG math.OC
Provably convergent quasistatic dynamics for mean-field two-player zero-sum games
Stanford University（斯坦福大学）
本文研究了平均场二人零和对策的混合纳什均衡的求解问题。解决这个问题需要优化两个概率分布。我们考虑一个准静态Wasserstein梯度流动力学，其中一个概率分布遵循Wasserstein梯度流，而另一个总是在平衡点。理论分析表明，在较弱的条件下，该模型收敛于混合纳什均衡。受概率分布的连续动力学的启发，我们推导出一种具有内外迭代的准静态Langevin梯度下降方法，并在不同的问题上测试该方法，包括训练混合GANs。
2022-02-15 cs.AI cs.GT cs.LG
Gradient Descent Provably Optimizes Over-parameterized Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
神经网络成功的奥秘之一是随机初始化的一阶方法，如梯度下降，即使目标函数是非凸和非光滑的，也可以实现零训练损失。本文揭示了双层全连接ReLU激活的神经网络的这一惊人现象。对于具有ReLU激活和$n$训练数据的$m$隐藏节点浅层神经网络，我们证明了只要$m$足够大并且没有两个输入是并行的，随机初始化的梯度下降就以二次损失函数的线性收敛速度收敛到全局最优解。我们的分析依赖于以下观察：过度参数化和随机初始化共同限制每个权重向量在所有迭代中接近其初始化，这使我们能够利用强的类凸性质来表明梯度下降以全局线性速率收敛到全局最优值。我们相信这些见解在分析深层模型和其他一阶方法时也很有用。
2019-02-05 cs.LG math.OC stat.ML
One Step of Gradient Descent is Provably the Optimal In-Context Learner with One Layer of Linear Self-Attention
Stanford University（斯坦福大学）
本文从理论上证明，在合成线性回归数据上训练的单层线性自注意力Transformer的最优解等价于一步梯度下降，并揭示了协变量分布非各向同性时算法会变为预条件梯度下降，而响应分布变化影响较小。
2023-07-07 cs.LG
Surpassing Gradient Descent Provably: A Cyclic Incremental Method with Linear Convergence Rate
University of Pennsylvania（宾夕法尼亚大学）；Rutgers University（罗格斯大学）
近年来，人们越来越关注开发用于解决大规模机器学习问题的最优化方法。这些问题中的大多数归结为最小化一组光滑和强凸函数的平均值的问题，其中函数$n$的数量很大。梯度下降法（GD）是成功的最小化凸问题在一个快速的线性速度，但它不适用于所考虑的大规模优化设置，因为高的计算复杂性。增量方法通过用增量梯度近似代替下降方向所需的梯度来解决梯度法的这个缺点。它们通过每次迭代评估一个梯度并执行$n$可用梯度的平均值作为梯度近似值来操作。尽管增量方法降低了GD的计算成本，但它们的收敛速度并不能证明它们相对于GD在收敛之前的梯度评估总数方面的优势。在本文中，我们介绍了一种双增量聚合梯度方法（DIAG），在每次迭代中只计算一个函数的梯度，这是基于一个循环的计划选择，并使用聚合的平均梯度的所有功能来近似的完整的梯度。所提出的DIAG方法的迭代使用迭代和梯度两者的平均值，这与利用梯度平均值但不利用梯度平均值的经典增量方法相反。我们证明了所提出的DIAG方法不仅线性收敛到最优解，而且其线性收敛因子证明了增量方法在GD上的优势。特别是，我们证明了DIAG的最坏情况下的性能优于GD的最坏情况下的性能。
2018-02-07 cs.LG math.OC
Convergence to Second-Order Stationarity for Non-negative Matrix Factorization: Provably and Concurrently
SUTD（新加坡科技设计大学(SUTD)（注：SUTD是Singapore University of Technology and Design的缩写，常见中文名新加坡科技设计大学））
非负矩阵分解（NMF）是一个基本的非凸优化问题，在机器学习（音乐分析，文档聚类，语音-声源分离等）中有许多应用。尽管已经得到了广泛的研究，但人们对是否存在可以证明收敛到局部最小值的自然算法知之甚少。部分原因是因为目标是重对称的，它的梯度不是Lipschitz。在本文中，我们定义了一个乘法的权重更新型动力学（修改的种子李Seung算法），同时运行，并可证明避免鞍点（一阶不二阶固定点）。我们的技术结合了动力系统的工具，如稳定性，并利用几何的NMF目标，通过减少标准的NMF制定的非负正交到一个新的制定（缩放）单纯形。我们的方法的一个重要优点是使用并发更新，它允许在并行计算环境中实现。
2020-03-19 cs.LG math.OC stat.ML
Provably Efficient Convergence of Primal-Dual Actor-Critic with Nonlinear Function Approximation
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；JD Explore Academy（京东探索研究院）
在非凸-非凹原始-对偶形式下，研究了非线性函数逼近下的actor-critic算法的收敛性。应用随机梯度下降上升与鲁棒学习率的自适应最近项。我们显示了第一个有效的收敛结果与原始-对偶演员评论家的收敛速度为$\mathcal{O}\left(\sqrt{\frac{\ln \left(N d G^2 \right)}{N}}\right)$马尔可夫抽样下，其中$G$是元素的最大值的梯度，$N$是迭代次数，和$d$是梯度的维数。我们的结果只给出了对偶变量的Polyak-Jasojasiewicz条件，这很容易验证，适用于广泛的强化学习（RL）场景。该算法和分析是通用的，足以适用于其他RL设置，如多智能体RL。OpenAI Gym连续控制任务的实证结果证实了我们的理论发现。
2022-02-28 cs.LG stat.ML
Pruning Before Training May Improve Generalization, Provably
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The Ohio State University（俄亥俄州立大学）；IBM Thomas.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Pinterest
实践表明，将初始化剪枝方法应用于神经网络并训练稀疏化后的网络，不仅可以保持原稠密模型的测试性能，有时甚至可以略微提高泛化性能。对这种实验观测的理论理解尚待发展。这项工作首次尝试研究不同的修剪分数如何影响模型的梯度下降动力学和泛化。具体来说，这项工作考虑了超参数化的两层神经网络的分类任务，其中网络是随机修剪，根据不同的利率在初始化。结果表明，只要剪枝率低于一定的阈值，梯度下降可以使训练损失趋于零，网络具有良好的泛化性能。更令人惊讶的是，随着修剪分数变大，泛化界变得更好。为了补充这个积极的结果，这项工作进一步显示了一个消极的结果：存在一个大的修剪分数，使得虽然梯度下降仍然能够将训练损失推向零（通过记忆噪声），但泛化性能并不比随机猜测更好。这进一步表明，修剪可以改变特征学习过程，这导致修剪后的神经网络的性能下降。
2023-01-29 cs.LG
Manifold Gradient Descent Solves Multi-Channel Sparse Blind Deconvolution Provably and Efficiently
Carnegie Mellon University（卡内基梅隆大学）
多通道稀疏盲解卷积或卷积稀疏编码是指通过观察未知滤波器与多个稀疏输入信号的循环卷积来学习未知滤波器的问题。这个问题在信号处理、计算机视觉和逆问题中有许多应用。然而，由于观测值相对于未知滤波器和输入的双线性结构以及稀疏性约束，有效地学习滤波器是具有挑战性的。在本文中，我们提出了一种新的方法的基础上非凸优化球流形上最小化光滑代理的稀疏促进损失函数。它表明，流形梯度下降与随机初始化将可证明恢复过滤器，缩放和移位模糊，只要观察的数量是足够大的适当的随机数据模型下。数值实验表明，所提出的方法的性能与现有的比较。
2021-04-06 cs.IT cs.LG eess.SP
Neural Temporal-Difference and Q-Learning Provably Converge to Global Optima
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
时间差学习（TD）与神经网络相结合，是深度强化学习最基本的构建模块之一。然而，由于价值函数逼近的非线性，这种耦合会导致优化问题的非凸性，甚至发散。因此，神经TD的全局收敛性仍然不清楚。在本文中，我们证明了第一次，神经TD收敛在一个次线性的速度到全局最优的均方投影贝尔曼误差的政策评估。特别是，我们展示了这种全局收敛是如何通过神经网络的过参数化来实现的，这也在神经TD的经验成功中起着至关重要的作用。除了政策评估，我们建立了神经（软）Q-学习，这是进一步连接到策略梯度算法的全局收敛。
2020-04-15 cs.AI cs.LG math.OC
Combining Model-Based and Model-Free Methods for Nonlinear Control: A Provably Convergent Policy Gradient Approach
Caltech（加州理工学院）；Tsinghua University（清华大学）
基于无模型学习的控制方法最近取得了巨大的成功。然而，这样的方法通常遭受差的样本复杂度和有限的收敛保证。这与经典的基于模型的控制形成鲜明对比，后者具有丰富的理论，但通常需要强大的建模假设。在本文中，我们将这两种方法结合起来，以实现两全其美。我们考虑一个动力系统的线性和非线性组件，并开发了一种新的方法，使用线性模型来定义一个无模型的，政策梯度法的热启动。我们表明，这种混合方法优于基于模型的控制器，同时避免了与无模型的方法，通过数值实验和理论分析，其中我们推导出充分条件的非线性组件，使我们的方法是保证收敛到（近）全局最优控制器的收敛问题。
2020-06-12 cs.LG cs.SY eess.SY
Countercurrent Multiplier Networks: A Renal-Inspired Iterative Operator with Provably Bounded Fixed-Point Dynamics
研究受肾脏逆流倍增机制启发的可微序列算子CCM层，作为残差迭代细化的替代方案，用于实现尿液浓缩类似效果，有望为神经架构带来新方法。
2026-07-22 cs.LG math-ph math.MP
Mitigating Gradient Bias in Multi-objective Learning: A Provably Convergent Stochastic Approach
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
针对现有随机多目标梯度方法存在梯度偏差的问题，提出MoCo方法，在不增加批量大小的情况下保证非凸收敛，并在多任务监督和强化学习中验证了有效性。
2024-03-19 cs.LG math.OC stat.ML
Provably Convergent Data-Driven Convex-Nonconvex Regularization
University of Cambridge（剑桥大学）；California Institute of Technology（加州理工学院）；IIT Kharagpur（印度理工学院卡拉格普尔分校）
针对深度学习正则化逆问题缺乏可证明保证的问题，提出输入弱凸神经网络结构，将学习型对抗正则化适配到凸-非凸框架，实现可证明收敛且解决了以往方法的数值问题。
2023-11-02 cs.CV cs.LG stat.ML
Is Supervised Learning With Adversarial Features Provably Better Than Sole Supervision?
Optical Data Processing Division, Signal and Image Processing Group, SAC, ISRO（印度空间研究组织航天应用中心光学数据处理部、信号与图像处理组）
生成对抗网络（GAN）在各种复杂任务上显示出了有希望的结果。最近的实验表明，对抗训练为生成器提供了有用的梯度，有助于获得更好的性能。在本文中，我们打算从理论上分析具有对抗性特征的监督学习是否能优于单独的监督学习。首先，我们证明了没有对抗性特征的监督学习在接近最优区域存在梯度消失问题。其次，我们分析了使用监督信号增强的对抗学习如何缓解这种消失梯度问题。最后，我们证明了我们的主要结果，即具有对抗特征的监督学习可以优于单独的监督（在一些温和的假设下）。我们支持我们的主要结果在两个方面（i）预期的经验风险和（ii）收敛速度。
2020-04-20 cs.CV cs.LG stat.ML
LieTrunc-QNN: Lie Algebra Truncation and Quantum Expressivity Phase Transition from LiePrune to Provably Stable Quantum Neural Networks
School of Computer, Jiangsu University of Science and Technology（江苏科技大学计算机学院）；Department of Electrical and Computer Engineering, University of Nevada, Las Vegas（内华达大学拉斯维加斯分校电气与计算机工程系）
本文提出LieTrunc-QNN框架，通过李生成动力学刻画可训练性，将表达性重新解释为内在流形维度和几何，证明了训练下界和Fubini-Study度量秩的上限，展示了结构对表达性的重要性，并验证了在n=6时保持全度量秩。
2026-04-03 cs.LG
Gradient descent provably escapes saddle points in the training of shallow ReLU networks
ETH Zurich（苏黎世联邦理工学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Münster（明斯特大学）；Nanyang Technological University（南洋理工大学）
针对现有动力系统理论正则性条件不适用于现代机器学习的问题，本文放宽条件证明中心-稳定流形定理，证明浅层ReLU网络训练中梯度下降可避开多数鞍点，有利初始化下收敛至全局最小值。
2024-09-11 cs.LG math.DS math.OC
NUQSGD: Provably Communication-efficient Data-parallel SGD via Nonuniform Quantization
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Institute of Science and Technology Austria（奥地利科学技术研究所）
随着模型和数据集的大小和复杂性的增长，对随机梯度下降的通信高效变体的需求也在增长，这些变体可以被部署来执行并行模型训练。用于数据并行SGD的一种流行的通信压缩方法是QSGD（Alistarh等人，2017），其量化和编码梯度以降低通信成本。QSGD的基线变体提供了强有力的理论保证，然而，出于实用目的，作者提出了一种启发式变体，我们称之为QSGDinf，它在大型神经网络的分布式训练中表现出令人印象深刻的经验收益。在本文中，我们在这项工作的基础上提出了一个新的梯度量化方案，并表明它具有比QSGD更强的理论保证，并匹配和超过QSGDinf启发式和其他压缩方法的经验性能。
2021-05-03 cs.LG stat.ML
Provably Convergent Algorithms for Solving Inverse Problems Using Generative Models
Iowa State University（爱荷华州立大学）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；New York University（纽约大学）；University of California Riverside（加州大学河滨分校）
传统的手工制作先验（如稀疏性）来解决逆问题的方法正在慢慢被使用更丰富的先验知识（如由深度生成网络建模的先验知识）所取代。在这项工作中，我们从理论的角度研究了这种基于学习的方法的算法方面。对于某些生成网络架构，我们建立了一种简单的非凸算法方法，该方法（a）在理论上可以保证某些线性和非线性逆问题的线性收敛，（b）在经验上改进了传统技术，如反向传播。我们支持我们的主张与解决各种反问题的实验结果。我们还提出了一个扩展我们的方法，可以处理模型失配（即，生成网络先验不完全适用的情况）。总之，我们的贡献作为构建模块，在反问题中原则性地使用生成模型，并具有更完整的算法理解。
2021-05-13 cs.LG stat.ML
Provably Convergent Working Set Algorithm for Non-Convex Regularized Regression
Univ. de Rouen（鲁昂大学）；Criteo AI Lab（Criteo人工智能实验室）；Univ Côte d’Azur（蔚蓝海岸大学）；CNRS（法国国家科学研究中心）；OCA Lagrange（拉格朗日蔚蓝海岸天文台）；INSA de Rouen（鲁昂国立应用科学学院）；IMAG（蒙彼利埃亚历山大·格罗滕迪克研究所）；Université de Montpellier（蒙彼利埃大学）
非凸稀疏正则化子由于其统计性质，在高维数据的稀疏线性模型估计中引起了广泛的兴趣。考虑到解是稀疏的，为了加速收敛，工作集策略通过迭代算法来解决优化问题，即增加待优化变量的数量，直到识别出解的支持。虽然这些方法已经得到了很好的研究和理论支持的凸正则化，本文提出了一个工作集算法的非凸稀疏正则收敛保证。该算法，名为FireWorks，是基于最近的原始对偶方法的非凸重构，并利用残差的几何形状。我们的理论保证来自于两个内部求解器迭代之间的目标函数的下界减少，并显示收敛到整个问题的稳定点。更重要的是，我们还表明，即使内部求解器是不精确的，在足够的衰减的误差跨越迭代收敛。我们的实验结果表明，高计算增益时，使用我们的工作集策略相比，完整的问题求解器块坐标下降或近端梯度求解器。
2021-10-20 cs.LG stat.ML
Provably Efficient Algorithms for S- and Non-Rectangular Robust MDPs with General Parameterization
University of Maryland, College Park（马里兰大学 College Park 分校）
本文提出了一种针对鲁棒MDPs的高效算法，通过转换问题形式并引入多级蒙特卡洛梯度估计器，实现了在s-矩形和非矩形不确定性下的样本复杂性保证，显著提升了折扣和平均奖励设置下的性能。
2026-02-11 cs.LG
LoRA-One: One-Step Full Gradient Could Suffice for Fine-Tuning Large Language Models, Provably and Efficiently
Department of Statistics, University of Warwick, UK.（威斯敏斯特大学统计学系）；Department of Computer Science, University of Warwick, UK.（威斯敏斯特大学计算机科学系）；Centre for Discrete Mathematics and its Applications (DIMAP), University of Warwick, UK.（威斯敏斯特大学离散数学及其应用中心（DIMAP））
本文提出理论驱动的LoRA-One算法，利用一步全梯度初始化适配器实现子空间对齐，保证线性收敛，并在多个基准上超越LoRA。
2025-06-23 cs.AI cs.LG stat.ML
NUQSGD: Provably Communication-efficient Data-parallel SGD via Nonuniform Quantization
随着模型和数据集的大小和复杂性的增长，对随机梯度下降的通信高效变体的需求也在增长，这些变体可以被部署来执行并行模型训练。用于数据并行SGD的一种流行的通信压缩方法是QSGD（Alistarh等人，2017），其量化和编码梯度以降低通信成本。QSGD的基线变体提供了强有力的理论保证，然而，出于实用目的，作者提出了一种启发式变体，我们称之为QSGDinf，它在大型神经网络的分布式训练中表现出令人印象深刻的经验收益。在本文中，我们在这项工作的基础上提出了一个新的梯度量化方案，并表明它具有比QSGD更强的理论保证，并匹配和超过QSGDinf启发式和其他压缩方法的经验性能。
2021-05-01 cs.LG math.OC stat.ML
Block Coordinate Descent for Neural Networks Provably Finds Global Minima
CyberAgent
本文提出块坐标下降算法训练深度神经网络，首次证明其在严格单调激活下收敛到全局最小值，并扩展到ReLU，兼具优化与泛化保证。
2025-10-26 cs.LG stat.ML
Provably Robust Blackbox Optimization for Reinforcement Learning
Google Brain Robotics（谷歌大脑机器人团队）；UC Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）
最近，强化学习（RL）社区对无衍生优化（DFO）和“进化策略”（ES）的兴趣激增，越来越多的证据表明它们可以与机器人技术中政策优化问题的最新方法相媲美。然而，众所周知，DFO方法具有过高的采样复杂度。它们也可能对噪声奖励和随机动态非常敏感。在本文中，我们提出了一类新的算法，称为鲁棒黑箱优化（RBO）。值得注意的是，即使所有测量值中多达$23\%$被任意损坏，RBO也可以证明将梯度恢复到高精度。RBO依赖于使用鲁棒回归方法来学习梯度流，以实现偏离策略的更新。在几个MuJoCo机器人控制任务中，当所有其他RL方法在对抗性噪声存在下崩溃时，RBO能够有效地训练策略。我们还表明，RBO可以应用于腿运动任务，包括路径跟踪四足机器人。
2019-07-08 cs.LG stat.ML
Provably Personalized and Robust Federated Learning
University of California, Berkeley（加州大学伯克利分校）；EPFL（洛桑联邦理工学院）
针对联邦学习个性化问题，论文将按聚类学习模型形式化为随机优化，提出可识别客户端聚类并训练每簇模型的迭代算法，取得最优收敛率且对 Byzantine 恶意客户端鲁棒。
2023-12-18 cs.DC cs.LG
POLICE: Provably Optimal Linear Constraint Enforcement for Deep Neural Networks
Meta AI；NYU（纽约大学）
深度神经网络（DNN）在许多设置中胜过替代函数逼近器，这要归功于它们在组成任何所需的可微算子时的模块性。所形成的参数化功能，然后调整，以解决手头的任务，从简单的梯度下降。这种模块化的代价是对DNN严格执行约束，例如从任务的先验知识或从期望的物理属性，这是一个开放的挑战。在本文中，我们提出了DNN的第一个可证明的仿射约束执行方法，该方法只需要对给定DNN的前向传递进行最小的更改，这在计算上是友好的，并且使DNN的参数的优化不受约束，即可以采用标准的基于梯度的方法。我们的方法不需要任何采样，并可证明地确保DNN在训练和测试期间的任何时候都满足给定输入空间区域上的仿射约束。我们把这个方法叫做POLICE，代表可证明最优的线性约束执行。Github：https://github.com/RandallBalestriero/POLICE
2023-03-10 cs.CV cs.LG stat.ML
A Provably Correct Algorithm for Deep Learning that Actually Works
The Hebrew University（希伯来大学）
我们描述了一种用于训练深度卷积网络的逐层算法，其中每一步都涉及两层网络的梯度更新，然后是一个简单的聚类算法。我们的算法源于一个深层生成模型，该模型逐层生成图像，其中较低分辨率的图像对应于潜在语义类。我们分析算法的收敛速度，假设数据确实是根据这个模型生成的（以及其他假设）。虽然我们并不假装声称这些假设对于自然图像是现实的，但我们确实相信它们捕捉到了真实数据的一些真实属性。此外，我们证明了我们的算法实际上在实践中（在CIFAR数据集上）有效，与通过随机梯度下降训练的香草卷积神经网络的结果相同。最后，我们的证明技术可能是独立的利益。
2018-06-24 cs.LG stat.ML
Transformers Provably Implement In-Context Reinforcement Learning with Policy Improvement
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of California, Davis（加州大学戴维斯分校）
研究转换器在上下文强化学习中实现策略改进的能力，通过显式参数构造证明线性自注意力块可实现半梯度SARSA和actor-critic方法，并提供首次收敛保证。
2026-05-07 cs.AI cs.LG stat.ML
Coordinating Distributed Example Orders for Provably Accelerated Training
Cornell University（康奈尔大学）
针对分布式训练中示例顺序优化问题，提出CD-GraB方法，利用核稀疏化思想将GraB的可证明加速优势扩展到分布式环境，实现线性加速并优于分布式RR。
2023-12-21 cs.DC cs.LG math.OC
Outcome-Based RL Provably Leads Transformers to Reason, but Only With the Right Data
Tel Aviv University（特拉维夫大学）
本文通过分析单层Transformer在合成图遍历任务上的策略梯度动力学，证明了基于结果的强化学习能够使Transformer自发学习出结构化的迭代推理算法，并揭示了训练数据中“简单示例”的分布对推理能力涌现的关键作用。
2026-06-03 cs.AI cs.LG
Provably Accelerating Ill-Conditioned Low-rank Estimation via Scaled Gradient Descent, Even with Overparameterization
University of Chicago（芝加哥大学）；Carnegie Mellon University（卡内基梅隆大学）；Amazon（亚马逊）
针对病态低秩估计问题，提出缩放梯度下降（ScaledGD）算法，其收敛速率独立于条件数，保持GD的低迭代成本，并在过参数化及噪声下实现快速全局收敛，强调预处理在非凸估计中的价值。
2023-10-09 cs.LG math.OC stat.ML
Armijo Line-search Can Make (Stochastic) Gradient Descent Provably Faster
Simon Fraser University（西蒙 Fraser大学）
本文证明了Armijo线搜索可使随机梯度下降在特定条件下实现更快的收敛速度，尤其在凸和非凸目标函数中表现出优于传统方法的性能。
2026-02-24 cs.LG math.OC stat.ML
Mixture of Experts Provably Detect and Learn the Latent Cluster Structure in Gradient-Based Learning
The University of Tokyo, Japan（东京大学）；Center for Advanced Intelligence Project, RIKEN, Japan（RIKEN高级智能项目中心）
本文从理论上证明普通神经网络因信息指数升高而无法检测单指数模型回归任务中的潜在簇结构，而专家混合模型（MoE）可通过各专家弱恢复单个簇函数将问题分解为更易处理的子问题，从而在SGD学习中取得成功。
2025-08-15 cs.LG stat.ML
Good Subnetworks Provably Exist: Pruning via Greedy Forward Selection
the University of Texas, Austin（得克萨斯大学奥斯汀分校）；the University of Chicago（芝加哥大学）；Google Research（谷歌研究院）
最近的实证研究表明，大型深度神经网络通常是高度冗余的，人们可以找到更小的子网络，而不会显着降低准确性。然而，大多数现有的网络修剪方法都是经验和启发式的，这使得是否存在好的子网络，如何有效地找到它们，以及网络修剪是否可以证明优于使用梯度下降的直接训练。我们积极回答这些问题，提出了一个简单的贪婪的选择方法，找到好的子网络，从一个空的网络和greenerous添加重要的神经元从大的网络。这与现有的基于向后消除的方法不同，后者从大型网络中删除冗余神经元。从理论上讲，在足够大的{预训练}网络上应用贪婪选择策略可以保证找到比直接用梯度下降训练的网络损失更低的小子网。我们的结果也适用于修剪随机加权网络。实际上，我们改进了现有的网络修剪技术，在ImageNet上学习紧凑的神经架构，包括ResNet，MobilenetV 2/V3和ProxylessNet。我们在MobileNet上的理论和实证结果表明，我们应该微调修剪的子网，以利用来自大型模型的信息，而不是像\citet{liu2018rethinking}中建议的那样从新的随机初始化重新训练。
2020-10-19 cs.LG stat.ML
Policy Optimization Provably Converges to Nash Equilibria in Zero-Sum Linear Quadratic Games
Department of Electrical and Computer Engineering & Coordinated Science Laboratory, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校电子工程与协调科学实验室部门）；Department of Operations Research and Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系）
本文研究了策略优化在零和线性二次博弈中寻找纳什均衡的全局收敛性，通过分析LQ博弈的优化景观，证明了线性反馈控制策略的 stationary 点构成博弈的纳什均衡，并提出三种保证收敛到纳什均衡的投影嵌套梯度方法，同时展示了这些算法具有全局次线性和局部线性收敛率。
2021-02-10 cs.GT cs.LG cs.SY
Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling
University of Maryland（马里兰大学）
本文提出一种基于无放回采样的双层优化算法，在标准、条件、极小极大及组合优化中均实现更快的收敛速度，并通过合成与真实数据验证了其优越性。
2024-11-07 cs.LG math.OC
Provably convergent acceleration in factored gradient descent with applications in matrix sensing
Rice University（莱斯大学）；IBM T.J. Watson Research Center（IBM T.J. 沃森研究中心）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们提出了理论上的收敛性\emph{non-convex}加速梯度下降矩阵分解模型与$\ell_2$ -范数损失。这项工作的目的是研究在非凸设置的加速的影响，其中可证明的收敛与加速不应该被认为是一个\emph{de facto}属性。该技术被应用到矩阵传感问题，估计秩$r$最优解$X^\star \in \mathbb{R}^{n \times n}$。我们的贡献可归纳如下。$i)$我们表明，加速因子梯度下降收敛于线性速率，这一事实是新颖的非凸矩阵分解设置，在常见的假设。$ii)$我们的证明技术需要根据问题的性质（例如$X^\star$的条件数和目标函数的条件数）仔细选择加速参数。$iii)$目前，我们的证明导致相同的依赖于条件数（S）的收缩参数，类似于最近的结果，非加速算法。$iv)$加速在实践中观察到，无论是在合成的例子和两个实际应用：神经元多单元活动恢复从单电极记录，量子计算模拟器上的量子态断层扫描。
2019-09-21 cs.DS cs.IT cs.LG
Provably Robust Temporal Difference Learning for Heavy-Tailed Rewards
RWTH Aachen University（亚琛工业大学）；The Ohio State University（俄亥俄州立大学）
本研究针对重尾奖励分布下的强化学习，提出带动态梯度裁剪的TD学习与NAC算法，证明其样本复杂度优势，并通过实验验证稳健性。
2023-06-20 cs.LG math.OC stat.ML
Multi-head Transformers Provably Learn Symbolic Multi-step Reasoning via Gradient Descent
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）；The Ohio State University（俄亥俄州立大学）；Yale University（耶鲁大学）
多头变压器通过梯度下降机制学习符号多步推理，证明其能有效解决复杂任务。
2025-12-07 cs.AI cs.IT cs.LG
