Conditions for linear convergence of the gradient method for non-convex optimization
本文对满足Polyak-Lojasiewicz（PL）不等式的非凸光滑最优化问题，给出了一个新的定步长梯度法的线性收敛速率.我们证明了PL不等式是这类问题线性收敛到最优值的充要条件。我们列出了一些相关的函数类，梯度法可能享受线性收敛速率。此外，我们还研究了它们与PL不等式的关系。
2022-04-01 math.OC
Convergence of Riemannian Stochastic Gradient Descents: Varying Batch Sizes And Nonstandard Batch Forming
The George Washington University（乔治华盛顿大学）
本文研究了黎曼随机梯度下降在迭代过程中概率空间变化时的收敛性，推导了变化批量大小和非标准批量形成方案的收敛结果。
2026-04-17 math.OC
On the linear convergence of the stochastic gradient method with constant step-size
强增长条件（SGC）是使用恒定步长$γ$（SGM-CS）的随机梯度法线性收敛的充分条件。本文给出了SGM-CS的线性收敛的一个必要条件，该条件比SGC弱。此外，当这一必要的是违反了添加剂扰动$σ$，我们表明，无论是使用恒定步长的投影随机梯度法（PSGM-CS）和近端随机梯度法表现出线性收敛的噪声占主导地位的区域，其距离的最优解是成正比的$γσ$。
2018-06-17 math.OC
Fast Convergence of Stochastic Gradient Descent under a Strong Growth Condition
在Solodov [1998]和Tseng [1998]假设每个梯度$f_i'$的范数由平均梯度$f'$的范数的线性函数有界的情况下，我们考虑优化函数光滑凸函数$f$，该函数是一组可微函数$f_i$的平均。证明了在这些假设下，具有极小常数步长的基本随机梯度法具有$O(1/k)$收敛速度，并且当$g$是强凸的时，具有线性收敛速率.
2013-08-29 math.OC
Convergence of linesearch-based generalized conditional gradient methods without smoothness assumptions
本文研究了无平滑假设下基于线搜索的广义条件梯度方法的收敛性，提出一种自动适应Hölder指数的无参数变体，证明了即使目标函数平滑部分梯度不满足Hölder连续性也能保证收敛。
2025-05-02 math.OC
Nonconvex optimization and convergence of stochastic gradient descent, and solution of asynchronous game
本文回顾了凸与非凸优化中随机梯度下降的收敛性与行为，建立了梯度方差收敛至零的条件，并通过示例展示了迭代下概率密度的近似演化及其在经典双人及异步多人博弈中的应用。
2025-03-05 math.OC
Convergence Analysis of Gradient Algorithms on Riemannian Manifolds Without Curvature Constraints and Application to Riemannian Mass
本文研究了一般黎曼流形（无曲率约束）上最优化问题的梯度算法（采用一般步长）的收敛性问题。在局部凸性/准凸性（分别为弱尖锐最小值）、局部/整体收敛（分别线性收敛）的结果。作为应用，分别研究了求解黎曼$L^p$（$p\in[1,+\infty)$）质心的常步长梯度算法和Armijo步长梯度算法的线性收敛性，推广和/或改进了\cite{Afsari2013}中的相应结果.
2019-10-05 math.OC
Lower and upper bounds of the convergence rate of gradient methods with composite noise in gradient
Moscow Independent Research Institute of Artificial Intelligence（莫斯科独立人工智能研究院）；Innopolis University（因诺波利斯大学）；Institute for Information Transmission Problems（信息传输问题研究所）
本文研究了在梯度优化中使用复合噪声的一阶方法的收敛性，提出了一种最优累积绝对误差的算法，并探讨了重启技术、正则化变换和停止准则对不同函数类的影响。
2026-03-12 math.OC
Convergence rate analysis of the gradient descent-ascent method for convex-concave saddle-point problems
本文研究了求解凸-凹鞍点问题的梯度下降-上升法。利用半定规划的性能估计方法，得到了一个新的以到解集的距离表示的非渐近整体收敛速度。所给出的收敛速度包含了问题的大多数参数，并且对于一大类强凸-强凹鞍点问题的一次迭代是精确的.我们还研究了非强凸性的算法，给出了梯度下降-上升算法线性收敛的充要条件。
2022-09-16 math.OC
Convergence of the momentum method for semialgebraic functions with locally Lipschitz gradients
本文提出新的长度公式，证明动量法在极小化具有局部Lipschitz梯度的半代数函数时的局部与全局收敛性，无需全局Lipschitz等条件，并首次给出从任意初始点应用于主成分分析等问题的收敛保证。
2024-01-07 math.OC
Convergence Analysis of the Last Iterate in Distributed Stochastic Gradient Descent with Momentum
本文研究分布式 mSGD 在非凸设置下的最后一次迭代收敛问题，证明其在 Robbins-Monro 步长下的几乎必然与 $L_2$ 收敛及速率，并说明动量可加速早期收敛。
2025-05-16 math.OC
A note on $R$-linear convergence of nonmonotone gradient methods
非单调梯度法通常比单调梯度法有更好的性能，特别是在无约束二次优化问题上。然而，已知的单调方法的收敛速度往往比它的非单调变体。为了缩小非单调梯度法的理论与实践之间的差距，我们引入了一个性质来分析大量的梯度法的收敛性。我们证明了任何梯度法使用的步长满足的性质将收敛$R$ -线性的速度为$1-λ_1/M_1$，其中$λ_1$是Hessian矩阵的最小特征值和$M_1$是逆步长的上界。我们的结果表明，现有的许多非单调方法的收敛速度可以提高到$1-1/κ$与$κ$是相关的条件数。
2023-02-06 math.OC
Global convergence of the gradient method for functions definable in o-minimal structures
针对实域o-极小结构中可定义且具局部Lipschitz梯度的函数，研究变步长梯度法的全局收敛性，证明轨迹有界时的收敛性、步长大于正常数时的梯度范数衰减速率，及梯度连续可微等附加条件下步长恒定时的几乎必然局部极小收敛性。
2024-11-29 math.OC
Convergence Rate Analysis of Continuous- and Discrete-Time Smoothing Gradient Algorithms
本文针对不可微目标函数最小化，分析采用递减平滑参数的连续与离散时间平滑梯度算法，并借助统一 Lyapunov 函数证明二者收敛速率等价。
2023-12-07 math.OC
Convergence of Stochastic Proximal Gradient Algorithm
我们证明了新的收敛结果的随机邻近梯度算法适合于解决一大类的凸优化问题，其中凸目标函数的光滑和可能的非光滑组件的总和。在强凸情形下，我们考虑迭代的收敛性，得到了$O(1/n)$的非渐近期望界，以及在较弱的假设下的几乎必然收敛结果.我们的方法可以避免平均和削弱有界性假设，这是经常考虑在理论研究中，并可能不会在实践中得到满足。
2014-09-16 math.OC
Convergence of the Iterates of the Stochastic Proximal Gradient Method
North Carolina State University（北卡罗来纳州立大学）
本文研究了随机近端梯度法在最小化两个凸函数之和中的收敛性，无需假设随机变量的有界性或方差控制，证明了迭代序列几乎处处收敛和均值收敛，应用于分类和凸可行性问题。
2026-04-15 math.OC
The exact worst-case convergence rate of the gradient method with fixed step lengths for L-smooth functions
本文研究了求解$L$ -光滑函数的固定步长梯度法（或最速下降法）的收敛速度。我们建立了一个新的收敛速度，并表明，在某些情况下，特别是当所有的步长位于区间$(0,1/L]$的界限可能是准确的。此外，我们推导出一个最佳的步长的新的界限。
2021-10-07 math.OC
Hybrid Riemannian Conjugate Gradient Methods with Global Convergence Properties
在强Wolfe条件下，给出了新的Riemann共轭梯度法及其整体收敛性分析.新方法的主要思想是将Dai-Yuan方法良好的整体收敛特性与Hestenes-Stiefel方法的高效数值性能结合起来。所提出的方法比较以及数值与现有的方法的单位球上的瑞利商最小化问题。数值比较表明，它们的性能优于现有的。
2020-05-24 math.OC
On the convergence of conditional gradient method for unbounded multiobjective optimization problems
针对可行域无界的多目标优化问题，提出一种基于回收锥保证良定的条件梯度算法，并在温和假设下证明其渐近收敛性与迭代复杂度界，数值算例验证了性能。
2024-03-05 math.OC
Accelerated Objective Gap and Gradient Norm Convergence for Gradient Descent via Long Steps
本研究针对L-光滑凸优化问题，提出两种略异于silver步长的长步长梯度下降策略，分别实现目标间隙与平方梯度范数的$O(N^{-1.2716\dots})$收敛，改进了现有结果。
2024-04-12 math.OC
(Adaptive) Scaled gradient methods beyond locally Holder smoothness: Lyapunov analysis, convergence rate and complexity
本文针对梯度局部Hölder连续的光滑凸函数无约束最小化问题，分析SGA的收敛性与复杂度，提出可自动调参的自适应变体AdaSGA并证明其收敛性质。
2025-11-13 math.OC
Distributed Gradient Methods for Nonconvex Optimization: Local and Global Convergence Guarantees
本文讨论了非凸优化中计算局部和全局极小值的分布式梯度下降算法。对于局部最优化，我们专注于分布式随机梯度下降（D-SGD）-一个简单的基于网络的经典SGD的变体。我们讨论了局部极小收敛保证，并探讨了稳定流形定理在分析鞍点避免中的简单但关键的作用。对于全局优化，我们讨论了基于退火的方法，其中缓慢衰减的噪声被添加到D-SGD。条件下，收敛到全局极小值的保证进行了讨论。数值例子说明了本文的关键概念。
2020-09-16 math.OC
Introduction to stochastic gradient methods
University of Mannheim, Institute of Mathematics（曼海姆大学数学研究所）
本文介绍一阶优化方法，重点研究随机梯度方法的收敛理论，包括确定性梯度方法和随机梯度下降的收敛性分析，以及方差缩减等高级主题。
2026-06-02 math.OC
Convergence rates analysis of Interior Bregman Gradient Method for Vector Optimization Problems
近年来，利用Bregman距离，Lipschitz梯度连续性和强凸性被提升，并被相对光滑性和相对强凸性所取代。在较弱的假设下，证明了具有Bregman正则性的梯度法对单目标最优化问题线性收敛.本文将相对光滑性和相对强凸性推广到向量值函数，并分析了求解向量最优化问题的内点Bregman梯度法的收敛性.具体而言，整体收敛速度分别为凸VOP和相对强凸VOP的$\mathcal{O}(\frac{1}{k})$和$\mathcal{O}(r^{k})(0<r<1)$。此外，所提出的方法线性收敛的VOP，满足向量Bregman-PL不等式。
2022-06-21 math.OC
Proximal gradient-type method with generalized distance and convergence analysis without global descent lemma
The Institute of Statistical Mathematics, Japan（日本统计数学研究所）；Joint Support-Center for Data Science Research, Japan（日本数据科学研究联合支持中心）；Department of Mathematics, College of Science and Technology, Nihon University, Japan（日本大学理工学部数学科）
本文提出了一种无需全局下降引理的近端梯度型方法，用于解决非凸复合优化问题，同时提供了新的锥优化内梯度方法收敛性结果。
2026-04-08 math.OC
Gradient-Free Distributed Optimization with Exact Convergence
本文提出了一种无梯度分布式算法来求解有向通信网络下的集合约束最优化问题。具体而言，在每个时间步，代理本地计算所谓的伪梯度来指导决策变量的更新，其可以应用于梯度信息未知、不可用或不存在的领域。采用一种基于剩余的方法消除了对加权矩阵的双重随机性要求，使得该算法可以在没有双重随机加权矩阵的图中实现.在收敛性方面，该算法在任何正的、不可和的、非递增的步长下都能精确收敛到最优值。此外，当步长也是平方可和时，该算法可以保证精确收敛到一个最优解。除了标准的收敛性分析，所提出的算法的收敛速度也进行了研究。最后，通过数值模拟验证了该算法的有效性。
2021-09-03 math.OC
Global Convergence Rate of Proximal Incremental Aggregated Gradient Methods
我们专注于最小化光滑分量函数（其中和是强凸的）和非光滑凸函数的和的问题，这出现在机器学习中的正则化经验风险最小化和无线传感器网络和智能电网中的分布式约束优化。我们考虑解决这个问题，使用近端增量聚合梯度（PIAG）的方法，在每次迭代移动沿聚合梯度（根据确定性顺序递增更新梯度的分量函数形成），并采取一个接近的步骤，相对于非光滑函数。虽然这种方法的收敛性能与随机订单（在更新梯度的分量函数）进行了研究，本文，据我们所知，是第一个研究，建立了收敛速度性能的PIAG方法的任何确定性的顺序。特别是，我们表明，PIAG算法是全局收敛的线性速率提供的步长是足够小的。我们明确地确定了收敛速率和相应的步长，以实现这一收敛速度。我们的研究结果改善了最佳已知的条件数依赖的增量聚合梯度法用于最小化的总和光滑函数的收敛速度。
2016-08-04 math.OC
Convergence of Policy Gradient for Stochastic Linear-Quadratic Control Problem in Infinite Horizon
该研究聚焦无限时域随机线性二次控制问题，借助梯度支配条件与L-光滑性质突破非凸难题，证明了策略梯度方法中梯度流/下降算法的指数及线性收敛性，为梯度方法的理论保障提供支撑。
2024-04-18 math.OC
On the convergence analysis of the optimized gradient method
本文研究了具有已知Lipschitz常数的Lipschitz连续梯度的光滑凸函数的无约束极小化问题。我们最近提出了一个优化的梯度法（OGM），这个问题，并表明，它有一个最坏情况下的收敛界的费用函数下降，是Nesterov的快速梯度法（FGM）的两倍小，但有一个类似的有效的实际执行。Drori最近表明，OGM具有最佳的复杂性超过一般类的一阶方法。这种最优性使得充分研究OGM的收敛性变得非常重要。以前的最坏情况下的收敛界OGM推导出只有最后一个二次序列。本文给出了OGM生成的准素序列的一个解析收敛界。然后，我们讨论了OGM的其他收敛性质，包括有趣的事实，OGM有两种类型的最坏情况下的功能：分段仿射二次函数和二次函数。这些结果有助于完善光滑凸极小化的最优一阶方法理论。
2016-06-27 math.OC
Proximal Gradient Algorithms under Local Lipschitz Gradient Continuity: A Convergence and Robustness Analysis of PANOC
复合优化为各种应用提供了一个强大的建模工具，并且通常通过近端梯度法来数值求解。本文考虑了目标函数的光滑部分仅在局部Lipschitz梯度连续条件下的完全非凸复合问题。我们研究了PANOC类型方法的自适应方案（Stella等人，在IEEE第56届CDC会议论文集，1939- 1944，2017），即只需要简单的近似梯度预言的加速线性搜索算法。虽然包括经典的近端梯度法，我们的理论结果涵盖了更广泛的一类算法，并提供收敛保证加速方法可能不精确计算的近端映射。这些发现也有显着的实际影响，因为它们扩大了现有的范围和性能，并可能在未来，通用优化软件调用PANOC作为内部求解器。
2022-04-18 math.OC
A General Convergence Result for the Exponentiated Gradient Method
批量指数梯度（EG）方法提供了一个原则性的方法来凸光滑最小化的概率单纯形或量子密度矩阵的空间。然而，它并不总是保证收敛。EG方法的现有收敛性分析需要损失函数上的某些定量平滑条件，例如，损失函数或其梯度的Lipschitz连续性，但这些条件在重要应用中可能不成立。本文证明了在Armijo线搜索下的EG方法对任何具有局部Lipschitz连续梯度的凸损失函数总是收敛的。由于我们的收敛保证，EG方法与Armijo线搜索成为最快的收敛算法的最大似然量子状态估计，在我们的真实数据集。
2017-05-26 math.OC
A Stronger Convergence Result on the Proximal Incremental Aggregated Gradient Method
研究了最小化一个非光滑凸函数与一个光滑分量函数之和的邻近增量聚集梯度（PIAG）方法的收敛速度.在每次迭代时，PIAG方法沿着通过在最后$K$迭代中至少一次递增地更新分量函数的梯度而形成的聚合梯度移动，并且相对于非光滑函数采取最接近的步骤。我们表明，PIAG算法达到迭代的复杂性，线性增长的条件数的问题和延迟参数$K$。这改进了文献中PIAG算法之前最著名的全局线性收敛速率，该收敛速度对$K$具有二次依赖性。
2016-11-23 math.OC
Point Convergence of Nesterov's Accelerated Gradient Method: An AI-Assisted Proof
University of California, Los Angeles（加州大学洛杉矶分校）
本文通过AI辅助证明了Nesterov加速梯度法的点收敛性，解决了该领域长期存在的开放性问题。
2026-01-19 math.OC
Convergence of the Gradient Sampling Algorithm on Directionally Lipschitz Functions
将梯度采样算法的收敛性理论推广到方向Lipschitz函数。虽然方向性Lipschitz函数不一定是局部Lipschitz函数，但它们几乎处处可微，并且很好地近似于梯度，因此是梯度采样算法应用的自然候选者。这种扩展的主要障碍是潜在的无界性或空的克拉克次微分的兴趣点。我们提出的收敛性分析提供了一种解决这些问题的途径。特别是，我们恢复通常的收敛理论时，功能是局部Lipschitz。此外，如果算法不将临界性的某个度量驱动到零，则迭代必须收敛到一个点，在该点处，克拉克次微分为空，或者最速下降的方向退化，在这个意义上，它确实位于正则次导数的域的内部。
2021-07-10 math.OC
Geometric Convergence of Distributed Gradient Play in Games with Unconstrained Action Sets
本文提出了一种分布式算法来学习一类具有强单调映射和无约束行动集的非合作对策的纳什均衡。每个参与者都可以访问自己的平滑局部费用函数，并且可以与无向图中的邻居进行通信。我们考虑一个分布式通信为基础的梯度算法。对于这个过程中，我们证明几何收敛到纳什均衡。与我们以前的工作[15]，[16]相比，其中所提出的算法需要设置两个参数并且分析基于所谓的增强博弈映射，这项工作中的过程对应于标准的分布式梯度游戏，因此，仅需要适当选择一个恒定的步长参数以保证快速收敛到博弈解。此外，我们提供了一个严格的比较之间的收敛速度的分布式梯度播放和速度的GRANE算法在[15]。它使我们能够证明分布式梯度播放在收敛速度方面优于GRANE。
2019-07-15 math.OC
Information Geometry of Exponentiated Gradient: Convergence beyond L-Smoothness
本文研究正象限上可能非凸函数的指数化梯度（EG）方法，将其解释为基于$e$-Exp映射的黎曼梯度下降，在无需L-平滑性的弱假设下证明了全局收敛性，并通过数值实验展示了其优于内点几何RGD的收敛速度。
2025-04-07 math.OC
High Probability Convergence Bounds for Non-convex Stochastic Gradient Descent with Sub-Weibull Noise
本文在不假设凸性的情况下，证明了非凸随机梯度下降在亚韦尔分布噪声下的高概率收敛界，并提出了一种选择单个迭代点的后处理方法。
2025-11-21 math.OC
Linear Convergence of the Proximal Gradient Method for Composite Optimization Under the Polyak-Łojasiewicz Inequality and Its Variant
本文研究了复合函数在两类PL不等式下近端梯度法的线性收敛率，利用性能估计问题提供了新的显式收敛率或改进了复杂度界限，并通过数值实验验证了理论结果。
2025-06-30 math.OC
Worst-case convergence analysis of relatively inexact gradient descent on smooth convex functions
本文利用PEP框架，对光滑凸函数上带相对误差界的梯度下降算法进行最坏情况收敛性分析，推导单步精确行为、多步上下界，并给出最优常数步长选择。
2025-09-11 math.OC
Gradient Methods with Regularization for Constrained Optimization Problems and Their Complexity Estimates
我们建议简单的实施修改的条件梯度和梯度投影法光滑凸优化问题在希尔伯特空间。通常，自定义方法只能达到弱收敛。我们证明了新版本的强收敛性，并建立了它们的复杂性估计，这似乎类似于弱收敛版本的收敛速度。
2017-05-03 math.OC
Convergence Rate Analysis of the Multiplicative Gradient Method for PET-Type Problems
我们分析了具有$n$维优化变量和$m$分量函数的PET型问题的乘性梯度（MG）方法的收敛速度。我们表明，MG方法具有$O(\ln(n)/t)$收敛速度，在遍历和非遍历的意义。此外，我们证明了从迭代到最优解集的距离以速率$O(1/\sqrt{t})$收敛（到零）。我们的研究结果表明，在政权$n=O(\exp(m))$，找到一个$\varepsilon$ -最优解的PET型问题，MG方法具有较低的计算复杂性相比，相对光滑的梯度法和Frank-Wolfe方法的凸复合优化涉及一个几何均匀的障碍。
2022-09-27 math.OC
Linear Convergence of Primal-Dual Gradient Methods and their Performance in Distributed Optimization
在这项工作中，我们重新审视了经典的原始下降双上升梯度法用于解决等式约束最优化问题的增量实现。我们提供了一个简短的证明，建立了光滑强凸费用函数的算法的线性（指数）收敛性，并研究其关系到非增量实现。我们还研究了增广拉格朗日惩罚项对多智能体网络上聚合费用函数最小化分布式优化算法性能的影响。
2020-01-16 math.OC
Convergence results of a nested decentralized gradient method for non-strongly convex problems
研究了求解分布式最优化问题的NEAR-DGD $^+$（Nested Exact Alternating Recursion Distributed Gradient Descent）方法的收敛性。在局部目标函数的强凸性和梯度的Lipschitz连续性的假设下，证明了\cite{BBKW - Near DGD}算法的线性收敛性.本文研究了非强凸性条件下NEAR-DGD $^+$的收敛性。更准确地说，我们建立了以下两种情况下的收敛性结果：（1）当目标函数只假设凸性。(2)当目标函数表示为强凸函数和亏秩矩阵的复合函数时，它属于凸函数和准强凸函数类。数值结果支持收敛结果。
2022-06-27 math.OC
Convergence Properties of Monotone and Nonmonotone Proximal Gradient Methods Revisited
当复合最优化问题中的光滑函数和仅下连续函数之和为最小时，只要目标函数的下连续部分具有足够简单的结构，就可以用近似梯度法进行数值求解。与这些方法相关的可用收敛理论（大多数）要求目标函数的平滑部分的导数是（全局）Lipschitz连续的，并且这在一些实际相关的场景中可能是限制性的假设。在本文中，我们重新处理这个经典的话题，并提供收敛结果的经典（单调）近端梯度法和它的非单调扩展适用于（强）Lipschitz假设的情况下。这是可能的，因为代价是放弃收敛速度，我们省略了使用下降型引理在我们的分析。
2022-07-04 math.OC
On linear convergence of a distributed dual gradient algorithm for linearly constrained separable convex problems
本文提出了求解线性约束可分凸问题的一个分布式对偶梯度算法，并分析了它的收敛速率。特别地，我们证明了在原目标函数的梯度具有强凸性和Lipshitz连续性的假设下，对偶问题具有全局误差界型性质.利用这一误差界的性质，我们设计了一个完全分布式的对偶梯度计划，即梯度计划的基础上加权步长，我们推导出全局线性收敛速率的双重和原始次优和原始可行违反。许多实际应用，如分布式模型预测控制，网络效用最大化或最优潮流，可以被视为线性约束可分离凸问题，文献中的对偶梯度型方法具有次线性收敛速度。在本文中，我们证明了第一次，事实上，我们可以实现线性收敛速率，这样的算法时，他们被用来解决这些应用。数值模拟也证实了我们的理论。
2014-09-30 math.OC
On the Convergence of (Stochastic) Gradient Descent with Extrapolation for Non-Convex Optimization
外推法是求解凸优化和变分不等式的一种著名方法，近年来在非凸优化中引起了人们的关注。最近的几项工作已经在一些机器学习任务中取得了成功。然而，它还没有被分析为非凸极小化，仍然存在着理论和实践之间的差距。本文研究了光滑非凸优化问题中的梯度下降法和带外推的随机梯度下降法。我们的收敛上界表明，与外推算法可以加速比没有外推。
2019-02-05 math.OC
Symplectic Extra-gradient Type Method for Solving General Non-monotone Inclusion Problem
针对现有加速外梯度方法直接用初始点易降低收敛速度的局限，提出基于辛加速技术的新型加速外梯度方法，建立收敛性理论并引入线搜索提升效率，数值实验验证其收敛速度优于现有同类方法。
2025-03-21 math.OC
Stochastic versus Deterministic in Stochastic Gradient Descent
Tsinghua University（清华大学）；The Hong Kong Polytechnic University（香港理工大学）
本文从随机与确定性角度分析了小批量随机梯度下降的收敛性，揭示了两种梯度计算对算法性能的不同影响，并展示了改进的收敛速度和更小的收敛区域。
2026-04-05 math.OC
On the convergence of proximal gradient methods for convex simple bilevel optimization
针对上下层均由可微项与可近似项组成的凸简单双层优化问题，提出基于 Barzilai-Borwein 局部估计的近似点梯度收敛框架及自适应线搜索方法，并验证其收敛优势。
2024-03-02 math.OC
On the asymptotic convergence and acceleration of gradient methods
我们考虑一类梯度法的渐近性态，其中包括最速下降法和最小梯度法作为特例。证明了该族中的每一种方法都将在两个方向之间渐近曲折。给出了目标值、梯度范数和步长的渐近收敛结果。为了加速梯度法族，我们进一步利用步长的谱性质来打破重叠模式。特别地，通过对二维严格凸二次函数的极小化问题施加有限终止条件，得到了一种新的步长。结果表明，对于一般的二次函数，所提出的步长渐近收敛于Hessian最大特征值的倒数。此外，基于这一谱特性，我们提出了一个周期性的梯度法结合Barzilai-Borwein方法。与最近一些成功的梯度法的数值比较表明，我们的新方法是非常有前途的。
2019-08-19 math.OC
On Weak and Strong Convergence of the Projected Gradient Method for Convex Optimization in real Hilbert Spaces
研究了求解希尔伯特空间中约束凸极小化问题的投影梯度法的收敛性。我们表明，由采用Armijo线阵的方法产生的点序列弱收敛到所考虑的凸优化问题的解决方案。弱收敛是通过假设目标函数的凸性和Gateaux可微性来建立的，目标函数的Gateaux导数在有界集上是一致连续的。此外，我们对经典的投影梯度法提出了一些改进，以获得强收敛性。新的变体具有以下理想的性质：生成的点的序列是完全包含在一个球的直径等于之间的距离的初始点和解决方案集，和整个序列强烈收敛到最接近的初始点的问题的解决方案。在不作Lipschitz连续性假设的情况下，对这两种方法进行了收敛性分析.
2015-08-07 math.OC
On Almost Sure Convergence Rates of Stochastic Gradient Methods
University of Waterloo（滑铁卢大学）；Huazhong University of Science and Technology（华中科技大学）
文献中绝大多数随机梯度法的收敛速度分析都集中在期望收敛上，而随机几乎必然收敛对于确保随机算法的任何实例都以概率1收敛显然很重要。在这里，我们提供了一个统一的几乎必然收敛速度分析的随机梯度下降（SGD），随机重球（SHB），和随机Nesterov的加速梯度（SNAG）方法。我们表明，第一次，这些随机梯度方法在强凸函数上获得的几乎必然收敛速度，是任意接近其最佳收敛速度可能的。对于非凸目标函数，我们不仅证明了梯度范数平方的加权平均几乎必然收敛于零，而且证明了算法的最后一次迭代。我们进一步提供了弱凸光滑函数上随机梯度方法的last-most-sure收敛率分析，与文献中大多数现有结果相比，这些结果只提供了迭代加权平均的期望收敛性。
2022-07-10 cs.LG math.OC
Exact Linear Convergence Rate Analysis for Low-Rank Symmetric Matrix Completion via Gradient Descent
基于因式分解的梯度下降算法是一种可扩展的、高效的低秩矩阵完备化算法。结构化非凸优化的最新进展在低秩矩阵和样本集上的某些统计假设下为梯度下降算法提供了整体收敛保证。然而，虽然理论表明梯度下降法具有快速线性收敛到问题的全局解的能力，但边界技术的普遍性质使其无法获得对收敛速度收敛速率的准确估计。在本文中，我们进行了局部分析的精确线性收敛速率的梯度下降的因式分解为基础的矩阵完成对称矩阵。在不对底层模型作任何额外假设的情况下，我们确定了梯度下降算法局部收敛的确定性条件，该条件仅依赖于解矩阵和采样集.更重要的是，我们的分析提供了一个封闭形式的表达式的渐近收敛速率，完全匹配的线性收敛在实践中观察到的。据我们所知，我们的结果是第一个提供了确切的收敛速率梯度下降矩阵分解在欧氏空间矩阵完成。
2021-02-06 math.OC stat.ML
Convergence of Gradient Algorithms for Nonconvex C^{1+alpha} Cost Functions
Fudan University（复旦大学）
研究了非凸情形下带动量项的随机梯度算法的收敛性。一类随机动量方法，包括随机梯度下降，重球，Nesterov的加速梯度，在一般框架下进行了分析，温和的假设。在期望梯度收敛的基础上，通过详细讨论动量和上交叉数的影响，证明了算法的几乎必然收敛。值得注意的是，没有对目标函数和步长施加额外的限制。另一个改进是将已有的梯度的利普希茨条件放宽为Holder连续条件。作为一个副产品，我们应用本地化程序扩展我们的结果随机步长。
2021-09-30 cs.LG math.OC
