Convergence rates of proximal gradient methods via the convex conjugate
给出了复合凸极小化问题的邻近梯度法和加速邻近梯度法的$O(1/k)$和$O(1/k^2)$收敛速度的新证明。新证明的关键是通过目标函数的凸共轭构造一个上界。
2018-01-09 math.OC
A New Exact Worst-Case Linear Convergence Rate of the Proximal Gradient Method
本文利用邻近梯度范数建立了邻近梯度法的一个新的精确最坏情况线性收敛速率，它补充了文[1]中的结果，并蕴含了一个精化的下降引理.基于新引理，在Polyak-Lojasiewicz不等式下，提高了目标函数精度的线性收敛速率.
2019-03-12 math.OC
A Simple Convergence Analysis of Bregman Proximal Gradient Algorithm
本文给出了一个简单的Bregman距离近似梯度算法的收敛性分析，它比已有的结果提供了一个更严格的界。特别地，对于极小化一类凸目标函数的问题，我们证明了具有Bregman距离的邻近梯度算法可以看作是包含另一个Bregman距离的邻近点法.因此，基于Bregman距离的邻近梯度算法的收敛结果直接继承于基于Bregman距离的邻近点法的收敛结果，从而使收敛性分析更简单，收敛范围更小.我们进一步提出并分析了具有Bregman距离的最接近梯度算法的回溯线搜索变体。仿真结果表明，线搜索法显著提高了算法的收敛性能。
2017-12-17 math.OC
On the Convergence of Nested Decentralized Gradient Methods with Multiple Consensus and Gradient Steps
在本文中，我们考虑最小化的局部凸目标函数在分布式设置，通信和/或计算的成本可能是昂贵的总和。我们扩展和推广了对一类嵌套的基于梯度的分布式算法（NEAR-DGD; Berahas，Bollapragada，Keskar和Wei，2018）的分析，以解释每次迭代时的多个梯度步骤。我们执行多个梯度步骤上的收敛速度收敛速率和收敛的邻域的大小的影响，并证明R-线性收敛的精确解与一个固定的梯度步骤和越来越多的共识步骤。我们测试的性能的广义方法上的二次函数和显示的效果，多个共识和梯度步骤的迭代次数，梯度评估，通信数量和成本。
2021-07-07 math.OC
On the convergence of the continuous gradient projection method
在对目标函数和步长函数作适当假设的情况下，证明了连续梯度投影法的轨迹的弱收敛性和强收敛性.此外，当目标函数满足全局Holderian误差界不等式时，我们估计了系统到达平衡态的衰减率.
2018-10-28 math.OC
Conditions for linear convergence of the gradient method for non-convex optimization
本文对满足Polyak-Lojasiewicz（PL）不等式的非凸光滑最优化问题，给出了一个新的定步长梯度法的线性收敛速率.我们证明了PL不等式是这类问题线性收敛到最优值的充要条件。我们列出了一些相关的函数类，梯度法可能享受线性收敛速率。此外，我们还研究了它们与PL不等式的关系。
2022-04-01 math.OC
Convergence of Riemannian Stochastic Gradient Descents: Varying Batch Sizes And Nonstandard Batch Forming
The George Washington University（乔治华盛顿大学）
本文研究了黎曼随机梯度下降在迭代过程中概率空间变化时的收敛性，推导了变化批量大小和非标准批量形成方案的收敛结果。
2026-04-17 math.OC
On the linear convergence of the stochastic gradient method with constant step-size
强增长条件（SGC）是使用恒定步长$γ$（SGM-CS）的随机梯度法线性收敛的充分条件。本文给出了SGM-CS的线性收敛的一个必要条件，该条件比SGC弱。此外，当这一必要的是违反了添加剂扰动$σ$，我们表明，无论是使用恒定步长的投影随机梯度法（PSGM-CS）和近端随机梯度法表现出线性收敛的噪声占主导地位的区域，其距离的最优解是成正比的$γσ$。
2018-06-17 math.OC
Fast Convergence of Stochastic Gradient Descent under a Strong Growth Condition
在Solodov [1998]和Tseng [1998]假设每个梯度$f_i'$的范数由平均梯度$f'$的范数的线性函数有界的情况下，我们考虑优化函数光滑凸函数$f$，该函数是一组可微函数$f_i$的平均。证明了在这些假设下，具有极小常数步长的基本随机梯度法具有$O(1/k)$收敛速度，并且当$g$是强凸的时，具有线性收敛速率.
2013-08-29 math.OC
Convergence of linesearch-based generalized conditional gradient methods without smoothness assumptions
本文研究了无平滑假设下基于线搜索的广义条件梯度方法的收敛性，提出一种自动适应Hölder指数的无参数变体，证明了即使目标函数平滑部分梯度不满足Hölder连续性也能保证收敛。
2025-05-02 math.OC
Nonconvex optimization and convergence of stochastic gradient descent, and solution of asynchronous game
本文回顾了凸与非凸优化中随机梯度下降的收敛性与行为，建立了梯度方差收敛至零的条件，并通过示例展示了迭代下概率密度的近似演化及其在经典双人及异步多人博弈中的应用。
2025-03-05 math.OC
Convergence Analysis of Gradient Algorithms on Riemannian Manifolds Without Curvature Constraints and Application to Riemannian Mass
本文研究了一般黎曼流形（无曲率约束）上最优化问题的梯度算法（采用一般步长）的收敛性问题。在局部凸性/准凸性（分别为弱尖锐最小值）、局部/整体收敛（分别线性收敛）的结果。作为应用，分别研究了求解黎曼$L^p$（$p\in[1,+\infty)$）质心的常步长梯度算法和Armijo步长梯度算法的线性收敛性，推广和/或改进了\cite{Afsari2013}中的相应结果.
2019-10-05 math.OC
Lower and upper bounds of the convergence rate of gradient methods with composite noise in gradient
Moscow Independent Research Institute of Artificial Intelligence（莫斯科独立人工智能研究院）；Innopolis University（因诺波利斯大学）；Institute for Information Transmission Problems（信息传输问题研究所）
本文研究了在梯度优化中使用复合噪声的一阶方法的收敛性，提出了一种最优累积绝对误差的算法，并探讨了重启技术、正则化变换和停止准则对不同函数类的影响。
2026-03-12 math.OC
Convergence rate analysis of the gradient descent-ascent method for convex-concave saddle-point problems
本文研究了求解凸-凹鞍点问题的梯度下降-上升法。利用半定规划的性能估计方法，得到了一个新的以到解集的距离表示的非渐近整体收敛速度。所给出的收敛速度包含了问题的大多数参数，并且对于一大类强凸-强凹鞍点问题的一次迭代是精确的.我们还研究了非强凸性的算法，给出了梯度下降-上升算法线性收敛的充要条件。
2022-09-16 math.OC
Convergence of the momentum method for semialgebraic functions with locally Lipschitz gradients
本文提出新的长度公式，证明动量法在极小化具有局部Lipschitz梯度的半代数函数时的局部与全局收敛性，无需全局Lipschitz等条件，并首次给出从任意初始点应用于主成分分析等问题的收敛保证。
2024-01-07 math.OC
Convergence Analysis of the Last Iterate in Distributed Stochastic Gradient Descent with Momentum
本文研究分布式 mSGD 在非凸设置下的最后一次迭代收敛问题，证明其在 Robbins-Monro 步长下的几乎必然与 $L_2$ 收敛及速率，并说明动量可加速早期收敛。
2025-05-16 math.OC
A note on $R$-linear convergence of nonmonotone gradient methods
非单调梯度法通常比单调梯度法有更好的性能，特别是在无约束二次优化问题上。然而，已知的单调方法的收敛速度往往比它的非单调变体。为了缩小非单调梯度法的理论与实践之间的差距，我们引入了一个性质来分析大量的梯度法的收敛性。我们证明了任何梯度法使用的步长满足的性质将收敛$R$ -线性的速度为$1-λ_1/M_1$，其中$λ_1$是Hessian矩阵的最小特征值和$M_1$是逆步长的上界。我们的结果表明，现有的许多非单调方法的收敛速度可以提高到$1-1/κ$与$κ$是相关的条件数。
2023-02-06 math.OC
Global convergence of the gradient method for functions definable in o-minimal structures
针对实域o-极小结构中可定义且具局部Lipschitz梯度的函数，研究变步长梯度法的全局收敛性，证明轨迹有界时的收敛性、步长大于正常数时的梯度范数衰减速率，及梯度连续可微等附加条件下步长恒定时的几乎必然局部极小收敛性。
2024-11-29 math.OC
Convergence Rate Analysis of Continuous- and Discrete-Time Smoothing Gradient Algorithms
本文针对不可微目标函数最小化，分析采用递减平滑参数的连续与离散时间平滑梯度算法，并借助统一 Lyapunov 函数证明二者收敛速率等价。
2023-12-07 math.OC
Convergence of Stochastic Proximal Gradient Algorithm
我们证明了新的收敛结果的随机邻近梯度算法适合于解决一大类的凸优化问题，其中凸目标函数的光滑和可能的非光滑组件的总和。在强凸情形下，我们考虑迭代的收敛性，得到了$O(1/n)$的非渐近期望界，以及在较弱的假设下的几乎必然收敛结果.我们的方法可以避免平均和削弱有界性假设，这是经常考虑在理论研究中，并可能不会在实践中得到满足。
2014-09-16 math.OC
Optimized methods for composite optimization: a reduction perspective
本文提出一种通用框架，通过代数恒等式将无约束平滑优化的优化方法直接归约推导至复合优化设定，并据此证明了近端梯度下降的步长加速现象、比 FISTA 更快的收敛速率及最小化梯度范数的新方法。
2025-06-30 cs.DS math.OC
Convergence of the Iterates of the Stochastic Proximal Gradient Method
North Carolina State University（北卡罗来纳州立大学）
本文研究了随机近端梯度法在最小化两个凸函数之和中的收敛性，无需假设随机变量的有界性或方差控制，证明了迭代序列几乎处处收敛和均值收敛，应用于分类和凸可行性问题。
2026-04-15 math.OC
The exact worst-case convergence rate of the gradient method with fixed step lengths for L-smooth functions
本文研究了求解$L$ -光滑函数的固定步长梯度法（或最速下降法）的收敛速度。我们建立了一个新的收敛速度，并表明，在某些情况下，特别是当所有的步长位于区间$(0,1/L]$的界限可能是准确的。此外，我们推导出一个最佳的步长的新的界限。
2021-10-07 math.OC
Hybrid Riemannian Conjugate Gradient Methods with Global Convergence Properties
在强Wolfe条件下，给出了新的Riemann共轭梯度法及其整体收敛性分析.新方法的主要思想是将Dai-Yuan方法良好的整体收敛特性与Hestenes-Stiefel方法的高效数值性能结合起来。所提出的方法比较以及数值与现有的方法的单位球上的瑞利商最小化问题。数值比较表明，它们的性能优于现有的。
2020-05-24 math.OC
On the convergence of conditional gradient method for unbounded multiobjective optimization problems
针对可行域无界的多目标优化问题，提出一种基于回收锥保证良定的条件梯度算法，并在温和假设下证明其渐近收敛性与迭代复杂度界，数值算例验证了性能。
2024-03-05 math.OC
Accelerated Objective Gap and Gradient Norm Convergence for Gradient Descent via Long Steps
本研究针对L-光滑凸优化问题，提出两种略异于silver步长的长步长梯度下降策略，分别实现目标间隙与平方梯度范数的$O(N^{-1.2716\dots})$收敛，改进了现有结果。
2024-04-12 math.OC
(Adaptive) Scaled gradient methods beyond locally Holder smoothness: Lyapunov analysis, convergence rate and complexity
本文针对梯度局部Hölder连续的光滑凸函数无约束最小化问题，分析SGA的收敛性与复杂度，提出可自动调参的自适应变体AdaSGA并证明其收敛性质。
2025-11-13 math.OC
Optimized convergence of stochastic gradient descent by weighted averaging
在温和的假设下，如果所有迭代的算术平均值作为近似最优解返回，则随机梯度法渐近地实现最优收敛速率。然而，在没有随机噪声的情况下，所有迭代的算术平均值收敛到最优解的速度比迭代本身慢得多。而且在噪声存在的情况下，当考虑随机梯度法的有限终止时，算术平均值不一定是未知最优解的最佳可能逼近。本文的目的是确定最优策略在一个特别简单的情况下，一个强凸函数的最小化，i。I. D.噪声项和有限终止。根据SGD方法的某些参数，导出了随机误差和优化误差的显式公式。其目的是选择参数，使随机误差和优化误差都减少算术平均。这一目标无法实现;然而，通过允许随机误差的略微增加，可以选择参数，使得可以实现优化误差的显著减少。在仅使用中等数量的迭代或者当初始误差较大时，优化误差的这种减小对由随机梯度法生成的近似解具有强烈的影响。数值例子证实了理论结果，并建议推广到非二次目标函数是可能的。
2022-10-05 math.OC
Distributed Gradient Methods for Nonconvex Optimization: Local and Global Convergence Guarantees
本文讨论了非凸优化中计算局部和全局极小值的分布式梯度下降算法。对于局部最优化，我们专注于分布式随机梯度下降（D-SGD）-一个简单的基于网络的经典SGD的变体。我们讨论了局部极小收敛保证，并探讨了稳定流形定理在分析鞍点避免中的简单但关键的作用。对于全局优化，我们讨论了基于退火的方法，其中缓慢衰减的噪声被添加到D-SGD。条件下，收敛到全局极小值的保证进行了讨论。数值例子说明了本文的关键概念。
2020-09-16 math.OC
Introduction to stochastic gradient methods
University of Mannheim, Institute of Mathematics（曼海姆大学数学研究所）
本文介绍一阶优化方法，重点研究随机梯度方法的收敛理论，包括确定性梯度方法和随机梯度下降的收敛性分析，以及方差缩减等高级主题。
2026-06-02 math.OC
Convergence rates analysis of Interior Bregman Gradient Method for Vector Optimization Problems
近年来，利用Bregman距离，Lipschitz梯度连续性和强凸性被提升，并被相对光滑性和相对强凸性所取代。在较弱的假设下，证明了具有Bregman正则性的梯度法对单目标最优化问题线性收敛.本文将相对光滑性和相对强凸性推广到向量值函数，并分析了求解向量最优化问题的内点Bregman梯度法的收敛性.具体而言，整体收敛速度分别为凸VOP和相对强凸VOP的$\mathcal{O}(\frac{1}{k})$和$\mathcal{O}(r^{k})(0<r<1)$。此外，所提出的方法线性收敛的VOP，满足向量Bregman-PL不等式。
2022-06-21 math.OC
Proximal gradient-type method with generalized distance and convergence analysis without global descent lemma
The Institute of Statistical Mathematics, Japan（日本统计数学研究所）；Joint Support-Center for Data Science Research, Japan（日本数据科学研究联合支持中心）；Department of Mathematics, College of Science and Technology, Nihon University, Japan（日本大学理工学部数学科）
本文提出了一种无需全局下降引理的近端梯度型方法，用于解决非凸复合优化问题，同时提供了新的锥优化内梯度方法收敛性结果。
2026-04-08 math.OC
Gradient-Free Distributed Optimization with Exact Convergence
本文提出了一种无梯度分布式算法来求解有向通信网络下的集合约束最优化问题。具体而言，在每个时间步，代理本地计算所谓的伪梯度来指导决策变量的更新，其可以应用于梯度信息未知、不可用或不存在的领域。采用一种基于剩余的方法消除了对加权矩阵的双重随机性要求，使得该算法可以在没有双重随机加权矩阵的图中实现.在收敛性方面，该算法在任何正的、不可和的、非递增的步长下都能精确收敛到最优值。此外，当步长也是平方可和时，该算法可以保证精确收敛到一个最优解。除了标准的收敛性分析，所提出的算法的收敛速度也进行了研究。最后，通过数值模拟验证了该算法的有效性。
2021-09-03 math.OC
Global Convergence Rate of Proximal Incremental Aggregated Gradient Methods
我们专注于最小化光滑分量函数（其中和是强凸的）和非光滑凸函数的和的问题，这出现在机器学习中的正则化经验风险最小化和无线传感器网络和智能电网中的分布式约束优化。我们考虑解决这个问题，使用近端增量聚合梯度（PIAG）的方法，在每次迭代移动沿聚合梯度（根据确定性顺序递增更新梯度的分量函数形成），并采取一个接近的步骤，相对于非光滑函数。虽然这种方法的收敛性能与随机订单（在更新梯度的分量函数）进行了研究，本文，据我们所知，是第一个研究，建立了收敛速度性能的PIAG方法的任何确定性的顺序。特别是，我们表明，PIAG算法是全局收敛的线性速率提供的步长是足够小的。我们明确地确定了收敛速率和相应的步长，以实现这一收敛速度。我们的研究结果改善了最佳已知的条件数依赖的增量聚合梯度法用于最小化的总和光滑函数的收敛速度。
2016-08-04 math.OC
Convergence of Policy Gradient for Stochastic Linear-Quadratic Control Problem in Infinite Horizon
该研究聚焦无限时域随机线性二次控制问题，借助梯度支配条件与L-光滑性质突破非凸难题，证明了策略梯度方法中梯度流/下降算法的指数及线性收敛性，为梯度方法的理论保障提供支撑。
2024-04-18 math.OC
Proximal Gradient Algorithms under Local Lipschitz Gradient Continuity: A Convergence and Robustness Analysis of PANOC
复合优化为各种应用提供了一个强大的建模工具，并且通常通过近端梯度法来数值求解。本文考虑了目标函数的光滑部分仅在局部Lipschitz梯度连续条件下的完全非凸复合问题。我们研究了PANOC类型方法的自适应方案（Stella等人，在IEEE第56届CDC会议论文集，1939- 1944，2017），即只需要简单的近似梯度预言的加速线性搜索算法。虽然包括经典的近端梯度法，我们的理论结果涵盖了更广泛的一类算法，并提供收敛保证加速方法可能不精确计算的近端映射。这些发现也有显着的实际影响，因为它们扩大了现有的范围和性能，并可能在未来，通用优化软件调用PANOC作为内部求解器。
2022-04-18 math.OC
A General Convergence Result for the Exponentiated Gradient Method
批量指数梯度（EG）方法提供了一个原则性的方法来凸光滑最小化的概率单纯形或量子密度矩阵的空间。然而，它并不总是保证收敛。EG方法的现有收敛性分析需要损失函数上的某些定量平滑条件，例如，损失函数或其梯度的Lipschitz连续性，但这些条件在重要应用中可能不成立。本文证明了在Armijo线搜索下的EG方法对任何具有局部Lipschitz连续梯度的凸损失函数总是收敛的。由于我们的收敛保证，EG方法与Armijo线搜索成为最快的收敛算法的最大似然量子状态估计，在我们的真实数据集。
2017-05-26 math.OC
A Stronger Convergence Result on the Proximal Incremental Aggregated Gradient Method
研究了最小化一个非光滑凸函数与一个光滑分量函数之和的邻近增量聚集梯度（PIAG）方法的收敛速度.在每次迭代时，PIAG方法沿着通过在最后$K$迭代中至少一次递增地更新分量函数的梯度而形成的聚合梯度移动，并且相对于非光滑函数采取最接近的步骤。我们表明，PIAG算法达到迭代的复杂性，线性增长的条件数的问题和延迟参数$K$。这改进了文献中PIAG算法之前最著名的全局线性收敛速率，该收敛速度对$K$具有二次依赖性。
2016-11-23 math.OC
Point Convergence of Nesterov's Accelerated Gradient Method: An AI-Assisted Proof
University of California, Los Angeles（加州大学洛杉矶分校）
本文通过AI辅助证明了Nesterov加速梯度法的点收敛性，解决了该领域长期存在的开放性问题。
2026-01-19 math.OC
Convergence of the Gradient Sampling Algorithm on Directionally Lipschitz Functions
将梯度采样算法的收敛性理论推广到方向Lipschitz函数。虽然方向性Lipschitz函数不一定是局部Lipschitz函数，但它们几乎处处可微，并且很好地近似于梯度，因此是梯度采样算法应用的自然候选者。这种扩展的主要障碍是潜在的无界性或空的克拉克次微分的兴趣点。我们提出的收敛性分析提供了一种解决这些问题的途径。特别是，我们恢复通常的收敛理论时，功能是局部Lipschitz。此外，如果算法不将临界性的某个度量驱动到零，则迭代必须收敛到一个点，在该点处，克拉克次微分为空，或者最速下降的方向退化，在这个意义上，它确实位于正则次导数的域的内部。
2021-07-10 math.OC
Inexactly Smooth Performance Estimation and New Optimized Gradient Methods
Johns Hopkins University（约翰斯·霍普金斯大学）
针对非精确光滑凸函数类，提出插值定理并利用性能估计问题（PEP）分析一阶方法，进而设计出最优或最优已知的梯度方法。
2026-06-19 math.OC
Geometric Convergence of Distributed Gradient Play in Games with Unconstrained Action Sets
本文提出了一种分布式算法来学习一类具有强单调映射和无约束行动集的非合作对策的纳什均衡。每个参与者都可以访问自己的平滑局部费用函数，并且可以与无向图中的邻居进行通信。我们考虑一个分布式通信为基础的梯度算法。对于这个过程中，我们证明几何收敛到纳什均衡。与我们以前的工作[15]，[16]相比，其中所提出的算法需要设置两个参数并且分析基于所谓的增强博弈映射，这项工作中的过程对应于标准的分布式梯度游戏，因此，仅需要适当选择一个恒定的步长参数以保证快速收敛到博弈解。此外，我们提供了一个严格的比较之间的收敛速度的分布式梯度播放和速度的GRANE算法在[15]。它使我们能够证明分布式梯度播放在收敛速度方面优于GRANE。
2019-07-15 math.OC
Information Geometry of Exponentiated Gradient: Convergence beyond L-Smoothness
本文研究正象限上可能非凸函数的指数化梯度（EG）方法，将其解释为基于$e$-Exp映射的黎曼梯度下降，在无需L-平滑性的弱假设下证明了全局收敛性，并通过数值实验展示了其优于内点几何RGD的收敛速度。
2025-04-07 math.OC
High Probability Convergence Bounds for Non-convex Stochastic Gradient Descent with Sub-Weibull Noise
本文在不假设凸性的情况下，证明了非凸随机梯度下降在亚韦尔分布噪声下的高概率收敛界，并提出了一种选择单个迭代点的后处理方法。
2025-11-21 math.OC
Linear Convergence of the Proximal Gradient Method for Composite Optimization Under the Polyak-Łojasiewicz Inequality and Its Variant
本文研究了复合函数在两类PL不等式下近端梯度法的线性收敛率，利用性能估计问题提供了新的显式收敛率或改进了复杂度界限，并通过数值实验验证了理论结果。
2025-06-30 math.OC
Worst-case convergence analysis of relatively inexact gradient descent on smooth convex functions
本文利用PEP框架，对光滑凸函数上带相对误差界的梯度下降算法进行最坏情况收敛性分析，推导单步精确行为、多步上下界，并给出最优常数步长选择。
2025-09-11 math.OC
Gradient Methods with Regularization for Constrained Optimization Problems and Their Complexity Estimates
我们建议简单的实施修改的条件梯度和梯度投影法光滑凸优化问题在希尔伯特空间。通常，自定义方法只能达到弱收敛。我们证明了新版本的强收敛性，并建立了它们的复杂性估计，这似乎类似于弱收敛版本的收敛速度。
2017-05-03 math.OC
On Almost Sure Convergence Rates of Stochastic Gradient Methods
University of Waterloo（滑铁卢大学）；Huazhong University of Science and Technology（华中科技大学）
文献中绝大多数随机梯度法的收敛速度分析都集中在期望收敛上，而随机几乎必然收敛对于确保随机算法的任何实例都以概率1收敛显然很重要。在这里，我们提供了一个统一的几乎必然收敛速度分析的随机梯度下降（SGD），随机重球（SHB），和随机Nesterov的加速梯度（SNAG）方法。我们表明，第一次，这些随机梯度方法在强凸函数上获得的几乎必然收敛速度，是任意接近其最佳收敛速度可能的。对于非凸目标函数，我们不仅证明了梯度范数平方的加权平均几乎必然收敛于零，而且证明了算法的最后一次迭代。我们进一步提供了弱凸光滑函数上随机梯度方法的last-most-sure收敛率分析，与文献中大多数现有结果相比，这些结果只提供了迭代加权平均的期望收敛性。
2022-07-10 cs.LG math.OC
Exact Linear Convergence Rate Analysis for Low-Rank Symmetric Matrix Completion via Gradient Descent
基于因式分解的梯度下降算法是一种可扩展的、高效的低秩矩阵完备化算法。结构化非凸优化的最新进展在低秩矩阵和样本集上的某些统计假设下为梯度下降算法提供了整体收敛保证。然而，虽然理论表明梯度下降法具有快速线性收敛到问题的全局解的能力，但边界技术的普遍性质使其无法获得对收敛速度收敛速率的准确估计。在本文中，我们进行了局部分析的精确线性收敛速率的梯度下降的因式分解为基础的矩阵完成对称矩阵。在不对底层模型作任何额外假设的情况下，我们确定了梯度下降算法局部收敛的确定性条件，该条件仅依赖于解矩阵和采样集.更重要的是，我们的分析提供了一个封闭形式的表达式的渐近收敛速率，完全匹配的线性收敛在实践中观察到的。据我们所知，我们的结果是第一个提供了确切的收敛速率梯度下降矩阵分解在欧氏空间矩阵完成。
2021-02-06 math.OC stat.ML
Convergence of Gradient Algorithms for Nonconvex C^{1+alpha} Cost Functions
Fudan University（复旦大学）
研究了非凸情形下带动量项的随机梯度算法的收敛性。一类随机动量方法，包括随机梯度下降，重球，Nesterov的加速梯度，在一般框架下进行了分析，温和的假设。在期望梯度收敛的基础上，通过详细讨论动量和上交叉数的影响，证明了算法的几乎必然收敛。值得注意的是，没有对目标函数和步长施加额外的限制。另一个改进是将已有的梯度的利普希茨条件放宽为Holder连续条件。作为一个副产品，我们应用本地化程序扩展我们的结果随机步长。
2021-09-30 cs.LG math.OC
Global convergence of gradient descent for phase retrieval
Ecole Polytechnique（巴黎综合理工学院）；Columbia University（哥伦比亚大学）
本文提出基于张量的良性景观准则，证明相位恢复中梯度轨迹有界，从而保证梯度下降几乎处处收敛到全局最优解。
2024-10-17 cs.LG math.OC
Optimized Gradient Tracking for Decentralized Online Learning
本文提出广义梯度跟踪（GGT）框架统一去中心化在线学习中的多种现有方法，并通过基于半定规划的理论分析在一般条件下获得遗憾界限，进一步通过离线调参得到优化的oGGT算法，在合成和真实数据集上均优于现有最先进算法。
2024-02-13 cs.LG eess.SP math.OC
Concavifiability and convergence: necessary and sufficient conditions for gradient descent analysis
IIT Madras（马德拉斯印度理工学院）
梯度下降算法的收敛性由于其在深度学习应用中的实用性而引起了新的兴趣。即使提出了梯度下降的多种变体，目标梯度是Lipschitz连续的假设仍然是分析的一个组成部分，直到最近。在这项工作中，我们着眼于收敛性分析的一个属性，我们术语为concavifiability，而不是Lipschitz连续梯度。我们表明，凹性是一个充要条件，以满足上二次近似，这是关键证明，目标函数减少后，每一个梯度下降更新。我们还证明了任何梯度Lipschitz函数满足凹性。一个常数称为concavifier类似于梯度Lipschitz常数推导出这是指示的最佳步长。作为一个应用，我们通过一个受神经网络启发的例子证明了梯度下降收敛的凹函数的实用性。我们推导出凹函数的边界，以获得单个隐藏层ReLU网络的固定步长。
2019-05-28 cs.LG math.OC
Accelerated Almost-Sure Convergence Rates for Nonconvex Stochastic Gradient Descent using Stochastic Learning Rates
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Nevada（内华达大学）
大规模的最优化问题要求算法既有效又高效。一个这样的流行和证明算法是随机梯度下降，它使用一阶梯度信息来解决这些问题。本文研究了随机梯度下降法的学习率由确定性变为随机时的几乎必然收敛率。特别是，它的学习率配备了乘法随机性，产生一个随机学习率计划。理论结果表明，加速几乎必然收敛率的随机梯度下降在一个非凸设置时，使用适当的随机学习率相比，确定性的学习率计划。理论结果得到了经验验证。
2021-11-09 cs.LG math.OC
