Iteration complexity analysis of random coordinate descent methods for $\ell_0$ regularized convex problems
本文分析了一类求解$\ell_0$正则化最优化问题的一般随机块坐标下降法，即目标函数由光滑凸函数和$\ell_0$正则化函数组成.我们的方法家族涵盖了诸如随机块坐标梯度下降和随机邻近坐标下降法等特殊情况。我们分析了必要的最优性条件，这个非凸$\ell_0$正则化问题，并设计了一个分离的局部极小值集的限制类的基础上的近似版本的目标函数。我们提供了一个统一的分析的几乎必然收敛这一家庭的块坐标下降算法，并证明，对于每个近似版本，极限点是局部极小从相应的限制类的局部极小。在强凸性假设下，我们证明了这类方法的概率线性收敛。
2014-07-18 math.OC
Limited memory gradient methods for unconstrained optimization
本研究回顾无约束优化的有限内存最速下降法（LMSD），分析其在严格凸二次函数下的数值特性，提出改进调和Ritz值的方法及割线条件，并针对一般非线性问题提出两种新变体，同时证明原方法可从新视角解释。
2024-04-16 cs.NA math.NA math.OC
A Preconditioned Riemannian Gradient Descent Algorithm for Low-Rank Matrix Recovery
针对低秩矩阵恢复问题，本文提出基于行列范数加权的预处理黎曼梯度下降算法，在限制等距性质下给出理论保证，实验显示其较传统RGD最多提速十倍。
2023-05-04 math.OC
A Single-Mode Quasi Riemannian Gradient Descent Algorithm for Low-Rank Tensor Recovery
针对低秩张量从不完整测量中恢复的问题，提出结合黎曼梯度下降切空间投影与ST-HOSVD的SM-QRGD算法，理论上证明收敛，实验验证其准确性与高效性。
2024-01-29 math.OC
Geometric Certificates for Deterministic Global Linear Convergence of Overparameterized Projected Gradient Descent
University of Central Florida（中佛罗里达大学）
本文研究低秩矩阵估计中Burer-Monteiro方法受条件数影响的收敛问题，证明投影梯度下降可实现与条件数无关的局部线性收敛，并通过扰动版本避开鞍点、排除伪局部极小点。
2026-10-15 math.OC
Exponential Convergence of Augmented Primal-dual Gradient Algorithms for Partially Strongly Convex Functions
本文证明了增广原始-对偶梯度算法在部分强凸函数下可实现全局指数收敛，并将该结果推广到分布式优化中的受限割线不等式条件，统一了多类算法的收敛性分析。
2025-03-11 math.OC
The restricted strong convexity revisited: Analysis of equivalence to error bound and quadratic growth
约束强凸性是求凸极小化问题中下降法全局线性收敛速率的有效工具。近年来，全局误差界和二次增长特性作为新的竞争者出现。本文利用Ekeland的变分原理证明了这三个概念的等价性。针对闭凸集上的凸极小化和结构凸优化问题，分别利用梯度映射和邻近梯度映射，给出了这三个概念的一组修正形式和一组扩展形式，并证明了修正形式和扩展形式的等价性.基于这些等价的概念，我们建立了新的渐近线性收敛结果的近端梯度法。最后，我们重新讨论了多面体集上具有强凸可微函数的仿射映射的极小化合成问题，并在较弱的假设下得到了限制强凸型的一个加强性质。
2016-06-19 math.OC
Fast Optimistic Gradient Descent Ascent (OGDA) method in continuous and discrete time
本文在实希尔伯特空间中提出连续时间二阶动力学及其离散化算法，作为OGDA的加速版本，证明了对单调算子零点的末次迭代快速收敛速率，并数值验证了显式算法的显著优越性。
2024-02-22 math.OC
Optimization of Linear Multi-Agent Dynamical Systems via Feedback Distributed Gradient Descent Methods
本文提出一种基于分布式梯度下降的反馈优化架构，解决大规模集中式系统的可扩展性与隐私问题，并证明了其在凸平滑假设下收敛至临界点，在受限强凸假设下线性收敛至最优点邻域。
2025-04-07 math.OC
On the Convergence of Decentralized Gradient Descent
考虑最小化$f(x)=\sum_{i=1}^n f_i(x)$的一致性问题，其中每个$f_i$仅为$n$代理的连接网络中的一个个体代理$i$所知。所有的代理商应协同解决这个问题，并获得解决方案的数据交换限制在相邻的代理商之间。这种算法避免了融合中心的需要，提供了更好的网络负载平衡，并提高了数据隐私。我们研究了分散梯度下降方法，其中每个代理$i$更新其变量$x_{(i)}$，这是一个局部近似的未知变量$x$，通过结合其邻居的平均值与负梯度步骤$-α\nabla f_i(x_{(i)})$。迭代是$$x_{(i)}(k+1) \gets \sum_{\text{neighbor} j \text{of} i} w_{ij} x_{(j)}(k) - α\nabla f_i(x_{(i)}(k)),\quad\text{for each agent} i,$$，其中平均系数形成对称双随机矩阵$W=[w_{ij}] \in \mathbb{R}^{n \times n}$。在假定$f_i$是真闭凸有界的，$\nabla f_i$是Lipschitz连续的且$L_{f_i}$为常数，$α$是固定步长的条件下，分析了该迭代的收敛性，并推导了其收敛速度.假设$α< O(1/L_h)$，其中$L_h=\max_i\{L_{f_i}\}$，平均解处的目标误差$f(\frac{1}{n}\sum_i …
2015-07-01 math.OC
First-Order Optimization under Uniform Nondegeneracy: Geometry, Computation, and Information
Beijing International Center for Mathematical Research, Peking University（北京大学北京国际数学研究中心）；School of Mathematical Sciences, Beijing International Center for Mathematical Research, Center for Quantitative Biology, Center for Machine Learning Research, Peking University（北京大学数学科学学院北京国际数学研究中心定量生物学中心机器学习研究中心）；Academy for Multidisciplinary Studies, Capital Normal University（首都师范大学多学科研究院）
本文提出均匀非退化条件下的一阶优化理论，通过割线不等式和配对Moreau包络实现全局线性收敛，并引入认证可行性克服信息障碍。
2026-09-09 math.OC
Gaussian-Restricted Barycenters for KL-Unbalanced Optimal Transport: Variational Theory and Fixed-Point Convergence
Fudan University（复旦大学）
针对带独立边际惩罚的二次双侧KL不平衡最优传输，研究高斯限制重心的变分理论，构造反向KL MM迭代并通过数值实验验证其收敛性质。
2026-09-03 math.OC
Star Quasiconvexity: a Unified Approach for Linear Convergence of First-Order Methods Beyond Convexity
Ton Duc Thang University（胡志明市通德大学）；Universidad de Tarapacá（塔拉帕卡大学）
本文引入并研究了一类新的广义凸函数——星拟凸函数，统一了凸、星凸、拟凸、类星凸和正齐次函数，并证明了强星拟凸函数上的近端点算法线性收敛到唯一解。
2026-05-25 math.OC
A restricted memory quasi-Newton bundle method for nonsmooth optimization on Riemannian manifolds
Guangxi University（广西大学）；Xiamen University（厦门大学）；Guangxi Minzu University（广西民族大学）
本文提出了一种用于在Riemann流形上最小化局部Lipschitz连续函数的受限记忆拟牛顿束法，通过Riemannian版本的拟牛顿更新公式近似目标函数的曲率信息，并利用Riemannian子梯度聚合技术减少二次规划子问题的计算量，最终通过数值实验验证了该方法的有效性。
2026-05-01 math.OC
Local and Global Linear Convergence of General Low-rank Matrix Recovery Problems
在约束等距性质的假设下，研究了基于梯度的局部搜索法在对称和非对称两种情形下求解一般目标的低秩矩阵恢复问题的收敛速度.首先，我们开发了一种新的技术来验证Polyak-Lojasiewicz不等式的全局极小，这导致了一个局部的线性收敛区域的梯度下降法的附近。其次，基于局部收敛结果和本文证明的一个严格鞍点性质，给出了扰动梯度下降法全局线性收敛的两个新条件.发展的局部和整体收敛结果提供了更强的理论保证比现有的结果。作为一个副产品，这项工作显着提高了现有的RIP常数的界限，以保证不存在虚假的解决方案。
2022-03-08 math.OC
A family of spectral conjugate gradient algorithms derived by least-squares approximations based on a modified quasi--Newton update with application to a revised robust binary classification model
Free University of Bozen–Bolzano（博尔扎诺自由大学）；Semnan University（塞姆南大学）；American University（美利坚大学）
本文提出一类基于最小二乘逼近和修正拟牛顿更新的谱三项共轭梯度算法，保证充分下降与收敛性，并在CUTEr测试集及鲁棒二分类SVM应用中验证其优势。
2026-09-15 cs.LG math.OC
On the Suboptimality of Proximal Gradient Descent for $\ell^{0}$ Sparse Approximation
Snap Research（Snap 研究院）；National University of Singapore（新加坡国立大学）；Microsoft Research（微软研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了求解$\ell^{0}$稀疏逼近问题的近似梯度下降（PGD）方法及其随机优化算法。我们首先提供PGD的理论分析，显示在弱于压缩传感文献中广泛使用的限制等距属性的条件下，PGD的次优解与$\ell^{0}$稀疏逼近问题的全局最优解之间存在有界差距。此外，我们提出了随机算法，以加速优化的PGD使用随机低秩矩阵近似（PGD-RMA）和随机降维（PGD-RDR）。我们的随机化算法大大降低了原始PGD的计算成本为$\ell^{0}$稀疏近似问题，和由此产生的次最优解仍然享有可证明的次优性，即，次最优解减少的问题仍然有界差距的全局最优解的原问题。
2017-09-05 cs.LG math.OC
The Convergence and Error Analysis of Coordinate Descent Methods with Compression for Full Configuration Interaction
Fudan University（复旦大学）；School of Mathematical Sciences, Shanghai Key Laboratory for Contemporary Applied Mathematics, Fudan University and Key Laboratory of Computational Physical Sciences, Ministry of Education（复旦大学数学科学学院、当代应用数学上海市重点实验室及教育部计算物理科学重点实验室）
研究全组态相互作用基态问题的坐标下降法中压缩的作用，通过局部假设证明压缩迭代线性收敛，刻画收敛点，在特定假设下得出特征值误差阶数，数值结果支持分析。
2026-07-28 cs.NA math.NA math.OC
Gradient-extrapolation-based distributed mirror descent algorithm for multi-cluster aggregative games
College of Artificial Intelligence, Nankai University（南开大学人工智能学院）
本文针对多集群聚合博弈的纳什均衡求解问题，提出带梯度外推的分布式镜像下降算法，在非欧几里得场景下实现$\tilde{O}(1/k)$收敛，经能源系统需求响应算例验证有效。
2026-08-26 cs.GT math.OC
Doubly exponential convergence of the cyclic steepest descent method for strictly convex quadratics in arbitrary dimensions
Nankai University（南开大学）
本文证明任意维数下，当不同特征值数小于两倍循环长度时，循环最速下降法具有双重指数收敛，首次给出严格证明并确认阈值。
2026-09-23 math.OC
Learning Model-Based Sparsity via Projected Gradient Descent
Georgia Institute of Technology（佐治亚理工学院）；Mitsubishi Electric Research Labs（三菱电机研究实验室）；Carnegie Mellon University（卡内基梅隆大学）
以前已经提出了几种凸公式方法的统计估计与结构稀疏性作为先验。这些方法通常需要仔细调整正则化参数，通常是繁琐或启发式的练习。此外，这些方法产生的估计可能不属于期望的稀疏模型，尽管精确地近似真实参数。因此，贪婪型算法往往是更可取的估计结构稀疏参数。到目前为止，这些贪婪方法主要集中在线性统计模型上。本文研究了以非凸结构稀疏参数模型为约束集的投影梯度下降算法。如果成本函数具有稳定的模型限制Hessian，则算法产生所需最小值的近似。作为一个例子，我们阐述了主要结果在广义线性模型估计中的应用。
2016-01-27 cs.LG math.OC stat.ML
A stochastic gradient descent algorithm with random search directions
Institut de Mathématiques de Bordeaux（波尔多数学研究所）；Université de Bordeaux（波尔多大学）
本文提出一类使用更一般随机向量方向导数的随机梯度下降算法，突破了传统坐标下降法对标准基向量的限制，并证明了其几乎必然收敛性、中心极限定理及非渐近 $\mathbb{L}^p$ 收敛速率。
2025-04-01 cs.LG math.OC math.PR
Local Stochastic Factored Gradient Descent for Distributed Quantum State Tomography
Rice University（莱斯大学）
我们提出了一个分布式的量子态层析成像（QST）协议，命名为本地随机因子梯度下降（本地SFGD），学习一组本地机器上的密度矩阵的低秩因子。QST是描述量子系统状态的规范过程，我们将其表示为随机非凸光滑优化问题。物理上，低秩密度矩阵的估计有助于表征量子计算引入的噪声量。在理论上，我们证明了局部SFGD对于一般的限制强凸/光滑损失函数的局部收敛性，局部SFGD局部收敛到一个小的邻域的全局最优的线性速度与一个恒定的步长，而它的局部收敛正是在一个次线性的速度与递减的步长。在适当的初始化条件下，局部收敛结果隐含着全局收敛。我们验证了我们的理论研究结果与数值模拟QST的Greenberger-Horne-Zeilinger（GHZ）状态。
2022-06-01 cs.LG math.OC quant-ph
Linear Convergence of Adaptive Stochastic Gradient Descent
Oden Institute, UT Austin（德克萨斯大学奥斯汀分校奥登研究所）；Department of Mathematics, UT Austin（德克萨斯大学奥斯汀分校数学系）
我们证明了自适应随机梯度方法的范数版本（AdaGrad-Norm）对于满足Polyak Lojasiewicz（PL）不等式的强凸函数或非凸函数的子集实现了线性收敛速度。本文引入了随机梯度范数平衡性的度量-- RUIG在证明AdaGrad-Norm在随机设置中对其超参数调整的鲁棒性方面起着关键作用。在RUIG的基础上，我们开发了一个两阶段的框架来证明AdaGrad-Norm的线性收敛性，而不需要知道目标函数的参数。该框架可以扩展到其他自适应步长算法。数值实验验证了理论，并提出了未来的改进方向。
2020-03-06 cs.LG math.OC stat.ML
A Unifying Analysis of Projected Gradient Descent for $\ell_p$-constrained Least Squares
Carnegie Mellon University（卡内基梅隆大学）
本文利用受限等距性质，分析了投影梯度下降法在压缩感知框架下 $\ell_p$ 约束最小二乘问题中的收敛性，统一并推广了迭代硬阈值和软阈值算法的结果，揭示了随 $p$ 增大条件变严、鲁棒性下降的规律。
2012-06-26 cs.IT cs.NA math.IT
Mirror Descent Under Generalized Smoothness
State Key Laboratory of Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；School of Software Technology, Zhejiang University（浙江大学软件技术学院）；Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术区（滨江）区块链与数据安全研究院）
本文提出一种新的 $\ell_*$-光滑性概念，将经典光滑性推广到一般范数空间，并证明镜像下降类算法在此条件下收敛率与经典光滑性一致。
2026-05-30 cs.LG math.OC
Exact-Form Regret for Gradient Descent, Mirror Descent and Follow-the-Regularized-Leader
MIT（麻省理工学院）
本文提出精确性作为统一原则，几何刻画了梯度下降、镜像下降和FTRL无遗憾的偏差类别，并引入保守相关均衡，揭示不同一阶方法控制不同偏差类。
2026-09-23 cs.GT cs.LG math.OC
Sharp Restricted Isometry Bounds for the Inexistence of Spurious Local Minima in Nonconvex Matrix Recovery
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Berkeley（加州大学伯克利分校）
已知非凸矩阵恢复在具有足够小的RIP常数$δ$的限制等距性质（RIP）下不包含伪局部极小值。然而，如果$δ$太大，则已知存在包含伪局部最小值的反例。在本文中，我们介绍了一种证明技术，能够建立尖锐的阈值$δ$，以保证不存在虚假的局部极小值。使用该技术，我们证明了在秩为1的地面真值的情况下，RIP常数$δ<1/2$是必要的和充分的精确恢复从任何任意的初始点（如随机点）。我们还证明了一个局部恢复的结果：给定一个初始点$x_{0}$满足$f(x_{0})\le(1-δ)^{2}f(0)$，任何下降算法，收敛到二阶最优保证准确的恢复。
2019-06-13 cs.LG math.OC stat.ML
Analysis of Gradient Descent with Varying Step Sizes using Integral Quadratic Constraints
该研究利用IQC框架将变步长梯度下降建模为LPV系统，通过参数化LMI给出收敛速度与噪声放大保证，并揭示二者对条件数及凸性、平滑参数的不同依赖。
2024-07-28 cs.SY eess.SY math.OC
Conditioning of Random Feature Matrices: Double Descent and Generalization Error
Carnegie Mellon University（卡内基梅隆大学）
我们提供了随机特征矩阵的条件数的（高概率）界。特别是，我们表明，如果复杂度比$\frac{N}{m}$，其中$N$是神经元的数量和$m$是数据样本的数量规模像$\log^{-1}(N)$或$\log(m)$，那么随机特征矩阵是良好的条件。该结果在不需要正则化的情况下成立，并且依赖于在随机特征矩阵的相关分量之间建立各种浓度界限。此外，我们推导出的限制等距常数的随机特征矩阵的界限。我们证明了使用随机特征矩阵的回归问题的风险表现出双重下降现象，这是条件数的双重下降行为的影响。风险边界包括使用最小二乘问题的欠参数化设置和使用最小范数插值问题或稀疏回归问题的过参数化设置。对于最小二乘或稀疏回归的情况下，我们表明，风险降低$m$和$N$增加，即使在有界或随机噪声的存在下。风险界匹配文献中的最佳尺度，我们的结果中的常数是明确的，独立于数据的维数。
2021-11-04 cs.LG math.OC math.PR
Stochastic Variance Reduced Gradient for affine rank minimization problem
本文提出了一种有效的随机方差降低梯度下降算法来解决仿射秩最小化问题，该问题包括从线性测量中找到一个最小秩的矩阵。该算法作为一种随机梯度下降策略，比全梯度算法具有更好的复杂度。它还减小了每次迭代时随机梯度的方差，加快了收敛的收敛速率。在约束等距条件下，我们证明了该算法线性收敛于期望解。数值实验表明，与现有的贪婪算法相比，该算法在效率、自适应性和精确度之间具有明显的优势.
2022-11-05 cs.IT math.IT math.OC
Averaged Mirror Descent and Dual Gradient Methods: Convergent Algorithms for Entropic Gromov-Wasserstein Problems
针对熵正则化Gromov-Wasserstein问题，提出平均镜像下降算法并证明其对任意成本收敛，同时证明固定步长对偶梯度法的收敛性，在经典MD失败的案例上两者均有效。
2026-09-30 cs.LG math.OC
Distributed Mirror Descent over Directed Graphs
针对强连通多智能体网络上的约束凸优化问题，提出了分布式镜像下降算法。我们假设每个代理有一个私人的目标函数和一个约束集。建议的DMD算法采用本地设计的Bregman距离函数在每个代理，因此可以被看作是一个推广的著名的分布式投影次梯度（DPS）的方法，使用相同的欧几里得距离的代理。在DMD的每一次迭代中，每个代理在与其邻居交换状态信息的同时优化其自身的目标，该目标用Bregman距离函数进行调整。为了进一步推广DMD，我们考虑的情况下，代理通信遵循\emph{directed}图，它可能是不可能的设计双随机权重矩阵。换句话说，我们将相应的权重矩阵限制为行随机而不是双随机。我们研究了DMD在两种情况下的收敛性：（i）当代理的约束集相同时;（ii）当代理的约束集不同时。通过部分遵循我们证明的精神，可以证明一类基于共识的分布式优化算法，仅限于双随机阵，保持收敛与随机阵。
2015-04-27 cs.IT math.IT math.OC
Provable Efficient Online Matrix Completion via Non-convex Stochastic Gradient Descent
UC Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）；Microsoft Research New England（微软新英格兰研究院）
矩阵完备化是一个在理论和实践中都有广泛研究和应用的问题，它是通过对低秩矩阵的几个元素的观测来恢复低秩矩阵。到目前为止，大多数关于这个问题的可证明算法都局限于离线设置，在离线设置中，它们同时使用所有观测值来提供未知矩阵的估计。然而，在许多应用程序中，在线版本更有吸引力，我们一次观察一个条目并动态更新我们的估计。虽然现有的算法对于离线设置是有效的，但是它们对于在线设置可能是非常低效的。在本文中，我们提出了第一个可证明的，有效的在线算法矩阵完成。我们的算法从矩阵的初始估计开始，然后执行非凸随机梯度下降（SGD）。在每次观察之后，它执行仅涉及两个高矩阵的一行的快速更新，从而提供接近线性的总运行时间。我们的算法也可以自然地用于离线设置，在离线设置中，它为最先进的算法提供了具有竞争力的样本复杂性和运行时间。我们的证明引入了一个通用的框架，以表明SGD更新往往远离鞍面，并可能对其他非凸问题证明紧速率具有更广泛的意义。
2016-05-26 cs.LG math.OC stat.ML
Error bounds, PL condition, and quadratic growth for weakly convex functions, and linear convergences of proximal point methods
University of California San Diego（加州大学圣地亚哥分校）
本文研究了弱凸函数中误差界、PL条件和二次增长等正则条件之间的关系，并证明了近点法在凸和弱凸优化问题中的线性收敛性。
2026-02-03 cs.SY eess.SY math.OC
Noisy Linear Convergence of Stochastic Gradient Descent for CV@R Statistical Learning under Polyak-Łojasiewicz Conditions
Michigan State University（密歇根州立大学）
条件风险值（$\mathrm{CV@R}$）是最流行的风险度量之一，最近被认为是监督统计学习的性能标准，因为它与现代应用中期望的操作特性有关，例如安全性，公平性，分布鲁棒性和预测误差稳定性。然而，由于其变分定义，$\mathrm{CV@R}$通常被认为会导致困难的优化问题，即使是光滑和强凸损失函数。我们通过建立噪声（即，固定精度）线性收敛的随机梯度下降顺序$\mathrm{CV@R}$学习，为一大类不一定强凸（或甚至凸）损失函数满足集限制Polyak-Lojasiewicz不等式。这类包含所有光滑和强凸损失，确认经典问题，如线性最小二乘回归，可以有效地解决$\mathrm{CV@R}$标准下，就像他们的风险中性版本。我们的结果在这样一个风险意识岭回归任务的数值说明，也验证了他们在实践中的有效性。
2021-01-19 cs.LG cs.SY eess.SP
Accelerating Ill-Conditioned Low-Rank Matrix Estimation via Scaled Gradient Descent
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）
低秩矩阵估计是在信号处理、机器学习和成像科学中发现大量应用的典型问题。在实践中，一种流行的方法是将矩阵分解为两个紧凑的低秩因子，然后通过简单的迭代法（如梯度下降和交替最小化）直接优化这些因子。尽管非凸性，最近的文献表明，这些简单的算法实际上实现线性收敛时，适当的初始化越来越多的问题的兴趣。然而，经过仔细检查，现有的方法仍然可以是计算昂贵的，特别是病态矩阵：梯度下降的收敛速度线性依赖于低秩矩阵的条件数，而交替最小化的每次迭代的成本往往是禁止的大矩阵。本文的目标是提出一种有竞争力的算法方法，称为缩放梯度下降（ScaledGD），它可以被视为预条件或对角缩放的梯度下降，其中的预条件是自适应的和迭代变化的最小的计算开销。通过针对低秩矩阵检测、鲁棒主成分分析和矩阵完备的定制变体，我们从理论上证明了ScaledGD实现了两全其美：它以独立于低秩矩阵的条件数的速率线性收敛，类似于交替最小化，同时保持了梯度下降的低迭代成本。我们的分析也适用于一般的损失函数，限制强凸和光滑的低秩矩阵。据我们所知，ScaledGD是第一个可证明在广泛的低秩矩阵估计任务中具有此类属性的算法。
2021-06-14 cs.IT cs.LG eess.SP
Quantized Stochastic Primal-Dual Methods for Distributed Optimization under Relaxed Global Geometry
Indian Institute of Technology Bombay（印度理工学院班加罗尔）；Tata Consultancy Services Research（塔塔咨询公司研究）
提出量化随机原始-对偶方法q-PDGD，在松弛全局几何下证明线性收敛到邻域或O(1/k)收敛，匹配最优集中随机复杂度。
2026-06-11 cs.AI cs.LG cs.SY
New Lower Bounds for Stochastic Non-Convex Optimization through Divergence Decomposition
King Abdullah University of Science and Technology (KAUST)（国王阿卜杜勒·阿齐兹大学科学与技术学院）
本文研究了一阶随机优化在QC、QG和RSI等非凸设置下的基本极限，通过散度分解构建子类建立了噪声梯度查询次数的新下界，并证明其紧性，同时提出一维专用算法揭示了维度阈值对复杂度的内在影响。
2025-06-01 cs.LG math.OC stat.ML
Sharp Restricted Isometry Property Bounds for Low-rank Matrix Recovery Problems with Corrupted Measurements
University of California, Berkeley（加利福尼亚大学伯克利分校）
该研究针对含噪声线性测量的低秩矩阵恢复问题，分析非凸问题景观，给出RIP常数小于1/2时的精确全局距离保证、任意RIP常数下的局部保证，还证明严格鞍点性质以保障扰动梯度下降多项式时间全局收敛。
2023-07-25 cs.LG math.OC stat.ML
Provable Accelerated Convergence of Nesterov's Momentum for Deep ReLU Neural Networks
Rice University（莱斯大学）
针对 Nesterov 动量在神经网络训练中的加速收敛难题，本文提出一类仅部分参数满足强凸性的新目标函数，从理论上证明其加速效果，并首次为深度 ReLU 网络等非平凡架构证明了加速收敛速率。
2024-01-05 cs.LG math.OC
Dropping Convexity for Faster Semi-definite Optimization
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究了在半正定矩阵集上最小化凸函数的问题，通过因子梯度下降法（FGD）在非凸情况下实现更快收敛，提供了步长选择规则和初始化方法，适用于一般凸函数的收敛性保证。
2016-04-16 cs.DS cs.IT cs.LG
An overview of the fractional-order gradient descent method and its applications
Laboratory of Mathematical-Chemistry, Institute of Chemistry, Universidade Federal de Alfenas (UNIFAL)（阿尔芬纳斯联邦大学化学研究所数学化学实验室）；Institute of Chemistry and Center for Computational Engineering & Science, Universidade Estadual de Campinas (UNICAMP)（坎皮纳斯州立大学化学学院与计算科学与工程中心）；Institute of Exact Science, Universidade Federal de Alfenas (UNIFAL)（阿尔芬纳斯联邦大学精确科学学院）
本文综述了分数阶梯度下降法及其应用，探讨了分数阶运算在优化问题中的收敛性与稳定性，通过实验验证了其在复杂问题中的有效性。
2026-01-08 math-ph math.MP math.OC
Convolutional Phase Retrieval via Gradient Descent
Center for Data Science, New York University（纽约大学数据科学中心）；Department of Computer Science, Cornell University（康奈尔大学计算机科学系）；Weizmann Faculty of Mathematics and Computer Science, Weizmann Institute of Science（魏茨曼科学研究所数学与计算机科学学院）；Department of Electrical Engineering, Department of Applied Physics and Applied Mathematics, and Data Science Institute at Columbia University（哥伦比亚大学电气工程系、应用物理与应用数学系及数据科学研究所）
本文研究了通过梯度下降恢复未知信号的问题，利用随机核和足够多的观测来高效恢复信号，克服了测量算子中的依赖性挑战。
2019-10-06 cs.IT cs.NA math.IT
No Wrong Turns: The Simple Geometry Of Neural Networks Optimization Paths
Mila（米拉研究所）；Université de Montreal（蒙特利尔大学）；McGill University（麦吉尔大学）
本研究通过分析优化路径上梯度的几何性质，发现神经网络训练过程稳定且无障碍，从而在理论上保证线性收敛并指导学习率调度，为理解优化动力学提供了新视角。
2023-06-20 cs.LG math.OC
Algorithmic Regularization in Over-parameterized Matrix Sensing and Neural Networks with Quadratic Activations
Princeton University（普林斯顿大学）；Facebook AI Research（脸书人工智能研究院）；Stanford University（斯坦福大学）
我们表明，梯度下降算法提供了一个隐式的正则化效果在学习过参数化矩阵分解模型和一个隐藏层神经网络与二次激活。具体地说，我们表明，给定$\tilde{O}(dr^{2})$随机线性测量秩$r$半正定矩阵$X^{\star}$，我们可以恢复$X^{\star}$参数化它的$UU^\top$与$U\in \mathbb R^{d\times d}$和最小化平方损失，即使$r \ll d$。我们证明，从一个小的初始化，梯度下降恢复$X^{\star}$在$\tilde{O}(\sqrt{r})$迭代近似。结果解决了Gunasekar等人的猜想。'17在限制等距属性下。该技术可以应用于分析神经网络与一个隐藏层的二次激活的一些技术修改。
2019-02-14 cs.DS cs.LG math.OC
Guarantees of Riemannian Optimization for Low Rank Matrix Completion
University of California at Davis（加州大学戴维斯分校）；Hong Kong University of Science and Technology（香港科技大学）
研究了低秩矩阵补全问题中嵌入黎曼流形上的优化方法，证明了在特定采样条件下，黎曼梯度下降和共轭梯度下降算法能线性收敛，且通过改进的初始化方法进一步降低了采样复杂度。
2016-04-09 cs.NA math.NA math.OC
Gradient Regularized Newton Boosting Trees with Global Convergence
Department of Mathematics, Imperial College London, UK（帝国理工学院伦敦数学系）；School of Computer Science, University of St. Gallen, Switzerland（圣加尔登大学计算机科学学院）；Department of Mathematics, Stockholm University, Sweden（斯德哥尔摩大学数学系）
本文提出受限牛顿下降法，通过研究在希尔伯特空间上使用牛顿法进行凸优化，证明了牛顿提升在满足Hessian主导条件的光滑强凸损失下的线性收敛率，并通过引入适应性ℓ2正则化项实现对一般凸损失的全局收敛。
2026-05-01 cs.LG math.OC stat.ML
When is a Convolutional Filter Easy To Learn?
Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）；Facebook AI Research（Facebook人工智能研究）
我们分析了用于学习具有整流线性单元（ReLU）激活函数的卷积滤波器的（随机）梯度下降算法的收敛性。我们的分析不依赖于任何特定形式的输入分布，我们的证明仅使用ReLU的定义，与之前的作品相比，这些作品仅限于标准高斯输入。我们证明了随机初始化的（随机）梯度下降可以在多项式时间内学习卷积滤波器，并且收敛速度取决于输入分布的平滑度和补丁的紧密程度。据我们所知，这是基于梯度的卷积滤波器算法在非高斯输入分布上的第一个恢复保证。我们的理论还证明了深度神经网络中的两阶段学习率策略的合理性。虽然我们的重点是理论，我们也提出了实验，说明我们的理论研究结果。
2018-02-28 cs.AI cs.CV cs.LG
Run-and-Inspect Method for Nonconvex Optimization and Global Optimality Bounds for R-Local Minimizers
Tsinghua University（清华大学）；University of California, Los Angeles（加州大学洛杉矶分校）
许多优化算法收敛于稳定点。当基本问题是非凸的，他们可能会陷入局部极小，偶尔停滞在附近的鞍点。我们提出了运行和检查方法，它增加了一个“检查”阶段，现有的算法，有助于逃离非全球固定点。检验对当前点周围半径$R$内的一组点进行采样。当一个样本点在目标中产生足够的减少时，我们移动到那里并恢复现有的算法。如果没有找到足够的减少，则当前点被称为近似$R$ -局部最小值。我们表明，一个$R$局部极小是全局最优的，到一个特定的错误取决于$R$，如果目标函数可以隐式分解成一个光滑的凸函数加上一个限制功能，可能是非凸的，非光滑。对于高维问题，我们引入分块检查来克服维数灾难，同时仍然保持最优性界限等于块的数量。我们的方法在一组人工和现实的非凸问题上表现良好，通过与梯度下降，坐标下降，EM和非线性算法相结合。
2018-06-29 cs.LG math.OC stat.ML
