Adaptive Accelerated Gradient Descent Methods for Convex Optimization
University of California, Irvine（加州大学尔湾分校）
本文提出A$^2$GD方法，通过自适应步长和动量加速，在凸优化中实现更高效的梯度下降算法。
2026-02-08 math.OC
Accelerated Primal-Dual Mirror Dynamics for Centrailized and Distributed Constrained Convex Optimization Problems
本文研究了两种原-对偶镜像动力学加速算法，分别用于求解具有仿射约束和闭凸集约束的光滑和非光滑凸优化问题。在光滑情形下，提出了一种基于加速镜下降和原-对偶框架的加速原-对偶镜动力学方法（APDMD），并利用李雅普诺夫分析方法推导了原-对偶间隙、可行性测度和目标函数值随APDMD轨迹的加速收敛性质.然后，我们将APDMD扩展为两种分布式动力学方法，分别处理两类分布式光滑最优化问题，即，分布式约束一致性问题（DCCP）和分布式扩展单调优化（DEMO）与加速收敛保证。此外，在非光滑情形下，我们提出了一种光滑加速原对偶镜像动力学方法（SAPDMD），该方法利用光滑近似技术和上述APDMD。通过选取适当的光滑逼近参数，证明了SAPDMD的原-对偶间隙、目标函数值和可行性测度具有与APDMD相同的加速收敛性质.之后，我们提出了两个平滑加速分布式动力学方法来处理非光滑DEMO和DCCP，以获得加速和有效解。最后，数值实验证明了所提出的加速镜动力学方法的有效性。
2022-09-14 math.OC
Accelerated Gradient Methods for Geodesically Convex Optimization: Tractable Algorithms and Convergence Analysis
本文扩展Nesterov加速梯度方法，提出首个用于黎曼测地凸优化的完全加速一阶算法，在标准假设下达到与欧氏空间相同的迭代复杂度，并利用度量扭曲引理和势函数完成收敛性分析。
2025-08-09 math.OC
Accelerated differential inclusion for convex optimization
本文提出了一个求解无约束凸优化的二阶微分包含。在连续水平下，得到了解的存在性，并得到了一个新的李雅普诺夫函数随解的轨迹指数衰减。然后在离散层，基于连续模型的数值离散化，提出了两种非精确邻近点法，并通过离散的李雅普诺夫函数建立了新的收敛速度。
2022-02-28 math.OC
A Riemannian Accelerated Proximal Gradient Method
School of Mathematical Sciences, Xiamen University（厦门大学数学科学学院）；College of Mathematics and Computer Science, Yan’an University（延安大学数学与计算机学院）；Shanghai Institute of Applied Mathematics and Mechanics, Shanghai University（上海大学上海应用数学和力学研究所）；School of Mechanics and Engineering Science, Shanghai University（上海大学力学与工程科学学院）
针对流形上的非光滑优化问题，提出统一的黎曼加速近端梯度方法，在测地凸和强凸情形下建立加速收敛速率，并引入保护机制保证非凸全局收敛，数值实验验证了理论加速。
2025-09-26 math.OC
A universal accelerated primal-dual method for convex optimization problems
提出了一种求解仿射约束凸优化问题的加速一阶原-对偶方法。它可以处理Lipschitz和Hölder梯度，但不需要知道目标函数的平滑度。在线搜索部分，它使用动态递减的参数，并产生近似的Lipschitz常数与适度的大小。此外，基于适当的离散李雅普诺夫函数和一些微分/差分不等式的紧衰减估计，建立了一个通用的最优混合型收敛速度.一些数值试验证实了所提出的方法的有效性。
2022-11-08 math.OC
Convex Synthesis of Accelerated Gradient Algorithms
针对具有Lipschitz连续梯度的强凸目标函数，给出了广义加速梯度算法设计的凸解。我们利用积分二次约束和尤拉参数化从鲁棒控制理论制定的算法设计问题的解决方案作为一个凸半定规划。我们建立了显式公式的最佳收敛速度和建议的综合解决方案，极值控制问题。
2021-05-16 cs.SY eess.SY math.OC
Accelerated Stochastic Zeroth-Order Quasar-Convex Optimization
Institut de Mathématiques de Bordeaux, Université de Bordeaux（波尔多数学研究所，波尔多大学）
研究在仅通过随机零阶预言机获取有噪声函数评估时，对光滑拟凸函数进行无约束最小化的问题。设计零阶连续化算法，实现加速收敛保证，包含镜像步骤改善维度依赖性。
2026-07-23 math.OC
Accelerated Distance-adaptive Methods for Hölder Smooth and Convex Optimization
Shanghai University of Finance and Economics（上海财经大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出无参数加速距离自适应方法，解决Hölder光滑凸优化问题，无需先验参数或目标精度，实现最优随时收敛率，并扩展至随机优化，实验验证其有效性。
2025-10-25 math.OC
Accelerated Convex Optimization with Stochastic Gradients: Generalizing the Strong-Growth Condition
本文给出了随机梯度不减慢Nesterov加速梯度法收敛速度的一个充分条件。新的条件具有Schmidt \& Roux的强增长条件作为特例，并且它还允许我们（i）对具有约束的问题进行建模，以及（ii）设计新类型的预言机（例如，有限和问题的预言，如SAGA）。我们的结果是通过重新访问Nesterov的加速算法，并在不改变基本的一阶方法的情况下，设计随机预言机是有用的。
2022-07-24 math.OC
Adaptive Accelerated Gradient Method for Smooth Convex Optimization
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen（格罗宁根大学伯努利数学、计算机与人工智能研究所）
本文提出了一种自适应加速梯度法，用于解决光滑凸优化问题，通过局部估计光滑性常数自适应调整步长，实现函数值的快速收敛。
2025-12-23 math.OC
An Accelerated Asynchronous Distributed Method for Convex Constrained Optimization Problems
考虑了一类带有局部非线性凸约束的多智能体协作共识最优化问题，其中只有通过边连接的智能体可以直接通信，因此最优共识决策位于这些私有集的交集中.我们开发了一个异步分布式加速原始对偶法来解决所考虑的问题。该计划是第一个异步方法，这类问题的最佳收敛保证，据我们所知。特别是，我们提供了一个最佳的收敛速度的$\mathcal{O(1/K)}$次优，不可行性，共识违反。
2023-02-21 math.OC
A note on approximate accelerated forward-backward methods with absolute and relative errors, and possibly strongly convex objectives
在这篇简短的笔记中，我们提供了一个简单版本的加速向前向后方法（a.k.a. Nesterov的加速邻近梯度法）可能依赖于近似邻近算子，并允许利用目标函数的强凸性。该方法支持相对误差和绝对误差，其行为说明了一组标准的数值实验。使用相同的发展，我们进一步提供了Monteiro和Svaiter（2013）的加速近端混合外梯度方法的一个版本，可能利用目标函数的强凸性。
2022-01-21 math.OC
A feasible smoothing accelerated projected gradient method for nonsmooth convex optimization
针对非光滑凸优化，提出一种保证变量可行性的光滑加速投影梯度方法，通过Lyapunov函数证明$O(k^{-1}\log k)$收敛率，并在桁架鲁棒柔顺度优化中验证。
2023-12-12 math.OC
Accelerated forward-backward method with fast convergence rate for nonsmooth convex optimization beyond differentiability
提出了一种快速收敛速度的向前向后加速算法，用于求解闭凸集上可分解非光滑凸函数的极小值，并将其命名为光滑加速邻近梯度（SAPG）算法.该算法结合了平滑方法和外推$\frac{k-1}{k+α-1}$和$α>3$的邻近梯度算法。平滑参数$μ_k$的更新规则是一个聪明的方案，并保证了整体收敛速度的$o(\ln^σk/k)$与$σ\in(\frac{1}{2},1]$的目标函数值。证明了该序列收敛于问题的最优解。此外，我们在SAPG算法中引入了一个误差项，得到了非精确平滑加速邻近梯度算法。在误差可和条件下，我们得到了与SAPG算法相同的收敛结果。最后通过数值实验验证了该算法的有效性。
2021-10-04 math.OC
Accelerated primal-dual methods for linearly constrained convex optimization problems
提出了一个求解仿射约束凸优化的加速原-对偶动力系统，并给出了一类具有非遍历收敛速度的原-对偶方法。在连续层，建立了一个新的指数衰减的李雅普诺夫函数，在离散层，依次考虑了连续模型的隐式、半隐式和显式数值离散，从而得到了求解线性约束最优化问题的新的加速原-对偶方法.这些方案中的子问题的特殊结构被用来开发有效的内部求解器。此外，通过一个定制的离散李雅普诺夫函数，证明了非遍历收敛速度的原始-对偶间隙，原始目标残差和可行性违反。此外，我们的方法也被应用到分散的分布式优化快速和有效解。
2022-04-09 math.OC
Projection-Free Optimization on Uniformly Convex Sets
Frank-Wolfe方法以一般的次线性速度$\mathcal{O}(1/T)$求解光滑约束凸优化问题，并且它（或它的变体）对于两类基本约束（多面体和强凸集）具有加速的收敛速度。一致凸集非平凡地从属于强凸集，并形成机器学习和信号处理中经常遇到的各种各样的\textit{curved}凸集。例如，$\ell_p$ -球对于所有$p > 1$都是一致凸的，但仅对于$p\in]1,2]$是强凸的。我们表明，这些集系统地诱导加速收敛速度的原始弗兰克-沃尔夫算法，连续插值之间的已知速率。我们的加速收敛速度强调，是约束集的曲率-而不仅仅是它们的强凸性-导致加速的收敛速度。这些结果也重要地突出了Frank-Wolfe算法是适应更一般的约束集结构，从而解释更快的经验收敛。最后，我们还显示了加速收敛速度时的集合是局部一致凸的，并提供类似的结果在线线性最优化。
2020-06-16 math.OC
A Note on Nesterov's Accelerated Method in Nonconvex Optimization: a Weak Estimate Sequence Approach
我们提出了一个变种的加速梯度下降算法，改编自Nesterov的最佳一阶方法，弱拟凸和弱拟强凸函数。我们证明了通过调整所谓的估计序列方法，导出的算法实现了最优的收敛速度的预言复杂度方面的弱拟凸和弱拟强凸。特别地，对于具有Lipschitz连续梯度的弱拟凸函数，我们需要$O(\frac{1}{\sqrt{\varepsilon}})$迭代来获得$\varepsilon$ -解;对于弱拟强凸函数，迭代复杂度为$O\left( \ln\left(\frac{1}{\varepsilon}\right) \right)$。此外，我们讨论了这些算法的线性二次最优控制问题的影响。
2020-06-15 math.OC
Adaptive smoothing mini-batch stochastic accelerated gradient method for nonsmooth convex stochastic composite optimization
考虑一类凸约束非光滑凸随机复合最优化问题，其目标函数由可微凸分量与一般非光滑但凸分量之和给出。非光滑组件不需要具有容易获得的近端操作符，或者具有可以使用[Nesterov，2005]中的平滑技术的最大结构。为了解决这类问题，我们提出了一个自适应平滑小批量随机加速梯度（AdaSMSAG）方法，它结合了随机逼近方法，Nesterov的加速梯度法，和平滑方法，允许一般平滑近似。建立了该方法的收敛性。此外，最坏情况下的迭代复杂度的顺序是优于最先进的随机逼近方法。数值结果表明，建议的AdaSMSAG方法的有效性的风险管理投资组合优化和一个家庭的Wasserstein分布鲁棒支持向量机问题与实际数据。
2021-12-07 math.OC
Accelerated Methods for $α$-Weakly-Quasi-Convex Problems
本文概述$\alpha$-弱拟凸问题，证明序贯子空间优化与Nemirovski共轭梯度法在较弱条件下保持最优收敛速率，优于先前仅限1-弱拟凸的结果。
2023-05-16 math.OC
Accelerated Randomized Mirror Descent Algorithms For Composite Non-strongly Convex Optimization
本文考虑最小化一个由大量光滑凸分支组成的平均函数与一个一般的、可能不可微的凸函数之和的问题。虽然已经提出了许多方法来解决这个问题的假设和是强凸的，很少有方法支持的非强凸的情况。增加一个小的二次正则化是解决非强凸问题的常用方法，但它可能会导致解的稀疏性损失或削弱算法的性能。为了避免这一设计，我们提出了一种加速的随机镜像下降法来解决这个问题，没有强凸的假设。我们的方法扩展了Paul Tseng的确定性加速近端梯度法，即使在近端点计算不精确的情况下也可以应用。我们还提出了一个解决方案时，该问题的分量函数是非光滑的。
2018-12-31 math.OC stat.ML
Accelerated Primal-Dual Gradient Method for Smooth and Convex-Concave Saddle-Point Problems with Bilinear Coupling
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文研究了凸-凹鞍点问题$\min_x \max_y f(x) + y^T \mathbf{A} x - g(y)$，其中$f(x)$和$g(y)$是光滑的凸函数.我们提出了一种用于解决该问题的加速原始-对偶梯度法（APDG），实现了（i）在强凸-强凹区域中的最佳线性收敛速率，匹配较低的复杂度界限（Zhang等人，2021），以及（ii）当函数$f(x)$和$g(y)$中只有一个是强凸或者甚至它们都不是强凸时的加速线性收敛速率。最后，在不要求强凸性或强收敛性的条件下，得到了一般光滑凸凹鞍点问题$\min_x \max_y F(x,y)$的线性收敛算法。
2022-03-09 cs.LG math.OC
HNAG$^{++}$: An Accelerated Gradient Method with a Refined Asymptotic Rate for Strongly Convex Optimization
University of California, Irvine（加州大学尔湾分校）
针对光滑强凸优化问题，提出两种加速一阶方法HNAG$^+$和HNAG$^{++}$，通过优化HNAG流的强制常数并使用精细的Lyapunov分析，证明HNAG$^+$达到最优全局速率$1-2/\sqrtκ$，而HNAG$^{++}$在局部渐近对称函数类上达到已知最佳渐近速率$1-2\sqrt{2/κ}$。
2026-07-15 math.OC
Accelerated optimization algorithms and ordinary differential equations: the convex non Euclidean case
Departamento de Matemáticas, Universidad Carlos III de Madrid（马德里卡洛斯三世大学数学系）
本文研究了常微分方程与优化算法在非欧几里得设置下的联系，提出了一种新的加速算法用于凸函数在凸约束集上的最小化，该算法是Nesterov加速梯度下降法在非欧几里得设置下的自然推广，并可解释为加法Runge-Kutta算法。
2026-03-27 math.OC
Accelerated Primal-Dual Algorithm for Distributed Non-convex Optimization
本文研究了非凸问题分布式优化算法的加速收敛问题。我们提出了一个分布式的原始-对偶随机梯度下降~（SGD）配备了“强力球”方法来加速。我们表明，该算法实现了一般光滑（可能非凸）费用函数的线性加速收敛速度$\mathcal{O}(1/\sqrt{nT})$。我们通过在MNIST数据集上训练两层全连接神经网络和卷积神经网络，与最先进的分布式SGD算法和集中式SGD算法进行比较，通过数值实验证明了该算法的效率。
2021-10-13 math.OC
A $\sqrt{2}$-accelerated FISTA for composite strongly convex problems
Institute of Science Tokyo（东京科学大学）
本研究针对复合强凸优化问题，通过离散化ITEM连续时间模型提出新型加速前向-后向分裂算法，收敛速率指数首项常数较FISTA提升$\frac{1}{\text{误差项}}$倍，且弱凸条件下和为凸时分析仍有效。
2026-08-07 math.OC
Accelerated Algorithms for Smooth Convex-Concave Minimax Problems with $\mathcal{O}(1/k^2)$ Rate on Squared Gradient Norm
在这项工作中，我们研究了光滑极小极大最优化问题降低平方梯度幅度的计算复杂性。首先，我们提出了加速的$\mathcal{O}(1/k^2)$最后一次迭代速度的算法，比现有的$\mathcal{O}(1/k)$或更慢的速度extragradiation，Popov，和梯度下降锚定。加速机制结合了额外的梯度步骤与锚定，并不同于涅斯捷罗夫的加速。然后，我们通过匹配的下界建立最优的$ \mathcal{O}(1/k^2)$率。
2021-06-10 math.OC
Accelerated Stochastic Optimization Methods under Quasar-convexity
针对随机设定下光滑 quasar-凸函数优化中现有方法复杂度高或收敛慢的问题，本文提出一类新型加速随机方法，并通过统一分析与实验证明其更快收敛且优于现有算法。
2023-06-05 math.OC
Inertial accelerated primal-dual algorithms for non-smooth convex optimization problems with linear equality constraints
Chongqing University（重庆大学）；Chongqing Technology and Business University（重庆工商大学）；Sunway University（双威大学）
本文提出一种基于二阶微分系统的时间缩放的惯性加速对偶算法，用于求解具有线性等式约束的非光滑凸优化问题，证明了该算法在对偶间隙、可行性违反和目标残差上的快速收敛性，并通过数值实验验证了其有效性。
2026-03-05 math.OC
Accelerated Primal Dual Method for a Class of Saddle Point Problem with Strongly Convex Component
本文提出了一种简单的原始对偶方法DPD，它是求解一类具有或不具有强凸分支的鞍点问题的灵活框架。该方法有线性化形式LDPD和精确化形式EDPD。DPD的每次迭代通过简单的邻近映射顺序地更新对偶变量和原始变量，并通过外推来细化对偶变量。光滑或强凸原始分量的收敛性分析恢复了以前的最先进的结果，而强凸对偶分量的收敛性分析获得了原始对偶间隙的完全加速$O(1/k^2)$。通过对高斯噪声和椒盐噪声图像的全变差图像去模糊实验，证明了利用对偶分量的强凸性实现全变差加速的有效性。
2019-07-14 math.OC
On Directional Derivatives for cone-convex funtions
研究了值在巴拿赫空间Y上的锥凸函数的方向导数的存在性与Y和c 0之间的同构之间的关系。
2017-10-04 math.OC
Accelerated methods for composite non-bilinear saddle point problem
基于G. Lan的加速梯度滑动和函数在勒让德变换下的光滑性与强凸性参数之间的一般关系，证明了在相当一般的条件下，双线性凹凸光滑复合鞍点问题的最佳已知界对非双线性凹凸光滑复合鞍点问题也成立.此外，我们描述的情况下，界限不同，并解释的差异的性质。
2020-01-01 math.OC
Restarting the accelerated coordinate descent method with a rough strong convexity estimate
我们提出了新的重新启动策略的加速坐标下降法。我们的主要贡献是表明，对于一个很好的选择序列的重新启动的时间，重新启动的方法有一个接近几何的收敛速率。该方法的一个主要特点是可以利用目标函数的局部二次误差界，而不需要知道误差界的实际值。我们还表明，在更严格的假设下，目标函数是强凸的，任何固定的重新启动期间导致几何收敛速率。最后，我们说明了正则化的逻辑斯谛回归问题和Lasso问题的算法的性能。
2018-09-07 math.OC
An Accelerated Lyapunov Function for Polyak's Heavy-Ball on Convex Quadratics
1964年，波利亚克证明了最简单的动量法--重球法（Heavy-ball method）可以加速强凸问题在解附近的收敛。虽然Nesterov后来开发了一个全球加速版本，但Polyak的原始算法仍然更简单，并且在深度学习等应用中得到了更广泛的应用。尽管如此受欢迎，但Heavy-ball是否也是全局加速的问题尚未得到完全回答，也没有提供令人信服的反例。这在很大程度上是由于难以找到一个有效的李雅普诺夫函数：事实上，大多数证明重球加速在强凸二次设置依赖于特征值参数。我们的研究采用了一种不同的方法：通过简谐振子的二次不变量来研究动量。通过利用Stormer-Verlet积分器的修正Hamilton，我们能够构造一个Lyapunov函数，证明在凸二次问题的情况下Heavy-ball的速度为O（1/k^2）.这是一个有希望的第一步，有可能证明波利亚克的动量方法的加速，我们希望它能激发在这一领域的进一步研究。
2023-01-14 math.OC
Accelerated method of finding for the minimum of arbitrary Lipschitz convex function
本文提出一种针对非光滑凸函数的加速优化方法，通过基于集值映射（SVM）的逼近构造二次连续可微的凸函数，并应用二阶方法实现了超线性收敛速率。
2023-08-02 math.OC
Accelerated Douglas-Rachford methods for the solution of convex-concave saddle-point problems
研究了一类求解与Fenchel-Rockafellar对偶相关的凸凹鞍点问题的Douglas-Rachford方法的加速策略和预处理策略.虽然基本迭代在希尔伯特空间中弱收敛，但限制原始-对偶间隙的$\mathcal{O}(1/k)$遍历收敛，在强凸性假设下可以实现加速。也就是说，如果在鞍点公式中的原始或对偶泛函是强凸的，则可以修改该方法以产生$\mathcal{O}(1/k^2)$遍历收敛。在两个泛函都是强凸的情况下，类似的修正导致了对于某些$0 < {\vartheta} < 1$，$\mathcal{O}({\vartheta}^k)$的渐近收敛性.所有方法特别允许预处理，即，在保持所有收敛速度的情况下，用线性分裂方法得到了隐式线性步长的不精确解。所提出的方法的效率进行了验证和数值比较，特别是显示相对于国家的最先进的加速算法的竞争力。
2016-04-21 math.OC
Decentralized and Parallel Primal and Dual Accelerated Methods for Stochastic Convex Programming Problems
介绍了求解分散凸优化问题的原始和对偶随机梯度预言方法。无论是原始和双重预言机，所提出的方法是最佳的通信步骤的数量。然而，对于目标的所有类，每个节点的Oracle调用的数量方面的最优性只发生到对数因子和平滑的概念。通过使用mini-technique，我们表明，所提出的方法与随机预言可以在每个节点上额外并行化。所考虑的算法可以应用于许多数据科学问题和反问题。
2021-02-10 math.OC
Gauges and Accelerated Optimization over Smooth and/or Strongly Convex Sets
该研究针对光滑和/或强凸集上的可行性与约束优化问题，提出基于Minkowski规范平方性质的无投影一阶加速方法，仅用线搜索和法向量计算即可达到最优加速收敛速率。
2025-10-01 cs.LG math.OC
Convex Synthesis of Accelerated Gradient Algorithms for Optimization and Saddle Point Problems using Lyapunov functions
本文研究了优化问题和鞍点问题的加速梯度算法的设计问题。目标函数类由广义扇形条件定义。这类函数包含具有Lipschitz梯度的强凸函数，但也包含非凸函数，这不仅允许解决最优化问题，而且允许解决鞍点问题。建议的设计过程依赖于一类合适的李雅普诺夫函数和凸半定规划。建议的合成允许设计的算法，达到最先进的加速梯度法和超越的性能。
2020-11-16 cs.SY eess.SY math.OC
ABrA-GD: Adaptive Bregman Accelerated Gradient Descent for Relatively Smooth and (Strongly-)Convex Optimization
Samsung SAIL Montreal（三星SAIL蒙特利尔）
本文提出ABrA-GD算法，利用可计算的原始-对偶证书自适应相对光滑凸优化，仅需相对强凸常数，实现对凸目标加速$O(1/k^2)$收敛，对强凸目标线性收敛。
2026-10-01 cs.NA math.NA math.OC
Faster Accelerated First-order Methods for Convex Optimization with Strongly Convex Function Constraints
Shanghai University of Finance and Economics（上海财经大学）；Shanghai Jiao Tong University（上海交通大学）
在本文中，我们介绍了快速加速原始对偶法，以最小化一个凸函数的强凸函数的约束。在我们的工作之前，最好的复杂性界限是$\mathcal{O}(1/{\varepsilon})$，不管约束函数的强凸性。目前还不清楚强凸性假设是否可以实现更好的收敛结果。为了解决这个问题，我们开发了新的技术，逐步估计拉格朗日函数的强凸性。我们的方法，第一次，有效地利用约束强凸性，获得了改进的复杂性$\mathcal{O}(1/\sqrt{\varepsilon})$。该速率与强凸-凹鞍点优化的复杂度下界相匹配，因此是阶数最优的。我们展示了我们的方法在稀疏诱导约束优化，特别是谷歌的个性化PageRank问题的优越性能。此外，我们表明，重新启动的版本所提出的方法可以有效地确定最优解的稀疏模式在有限数量的步骤，结果似乎有独立的意义。
2024-11-27 cs.LG math.OC
A Unified Convergence Analysis of First Order Convex Optimization Methods via Strong Lyapunov Functions
利用强李雅普诺夫条件的概念，给出了一阶凸优化方法的统一收敛性分析。结合适当的时间尺度因子，我们能够处理凸和强凸的情况下，并建立许多现有的常微分方程模型的李雅普诺夫函数的收缩性质。然后，我们推导出流行的一阶优化算法，如近似梯度法，重球方法（也称为动量方法），Nesterov加速梯度法，加速近似梯度法从相应的动力系统的数值离散。我们还应用强李雅普诺夫条件的离散水平，并提供了一个更系统的分析框架。另一个贡献是一个新的二阶动力系统称为Hessian驱动Nesterov加速梯度流，可用于设计和分析光滑和非光滑凸优化的加速一阶方法。
2021-07-31 math.OC
Efficient parameter-free restarted accelerated gradient methods for convex and strongly convex optimization
本文针对凸与强凸复合优化问题，提出了无需参数的重启方法RPF-SFISTA和激进正则化方法A-REG，通过动态检查重启条件，在多类问题上比现有方法快3至15倍。
2024-10-12 math.OC
Accelerated Bregman Proximal Gradient Methods for Relatively Smooth Convex Optimization
我们考虑两个凸函数之和的最小化问题：一个是可微的，相对于参考凸函数是光滑的，另一个是不可微的，但很容易优化。我们研究了三角形标度属性的Bregman距离产生的参考凸函数和提出加速Bregman邻近梯度（ABPG）方法，达到$O(k^{-γ})$收敛速度，其中$γ\in(0,2]$是三角形标度指数（TSE）的Bregman距离。对于欧氏距离，我们有$γ=2$和恢复Nesterov的加速梯度法的收敛速度。对于非欧几里德Bregman距离，TSE可以小得多（比如说$γ\leq 1$），但我们表明，放松定义的内在TSE总是等于2。我们利用内在的TSE开发自适应ABPG方法，在实践中收敛得更快。虽然理论上的快速收敛速度的保证似乎是遥不可及的一般情况下，我们的方法获得经验$O(k^{-2})$率在几个应用程序的数值实验，并提供后数值证书的速度快。
2021-05-29 math.OC
Accelerated Methods for Non-Convex Optimization
本文提出了一种求解具有Lipschitz连续一阶和二阶导数的非凸优化问题的加速梯度法。该方法需要时间$O(ε^{-7/4} \log(1/ ε) )$来找到$ε$ -稳定点，这意味着点$x$使得$\|\nabla f(x)\| \le ε$。该方法改进了梯度下降的$O(ε^{-2} )$复杂度，并为计算的$x$提供了额外的二阶保证$\nabla^2 f(x) \succeq -O(ε^{1/2})I$。此外，我们的方法是Hessian自由的，即它只需要梯度计算，因此适合于大规模应用。
2017-02-02 cs.DS math.OC
A unified variance-reduced accelerated gradient method for convex optimization
Georgia Institute of Technology（佐治亚理工学院）；Tsinghua University（清华大学）；IBM Almaden Research Center（IBM阿尔马登研究中心）
我们提出了一种新的随机增量梯度算法，即方差减少加速梯度（Varag），有限和优化。配备了一个统一的步长政策，调整自己的值的条件数，瓦拉格表现出统一的最优收敛速度，直接解决光滑凸有限和问题，而不管他们的强凸性。此外，Varag是第一个加速的随机增量梯度法，受益于数据保真度项的强凸性，以实现最佳的线性收敛。它还建立了一个最佳的线性收敛速率，解决了广泛的一类问题，只满足一定的误差界条件，而不是强凸性。瓦拉格也可以扩展到解决随机有限和问题。
2019-10-30 cs.DS cs.LG math.OC
An Inexact Accelerated Stochastic ADMM for Separable Convex Optimization
提出了一种求解带线性约束的结构可分凸优化问题的非精确加速随机交替方向法（AS-ADMM）格式。目标函数是一个可能非光滑的凸函数和一个光滑函数的和，光滑函数是许多分量凸函数的平均。具有这种结构的问题经常出现在机器学习和数据挖掘应用中。AS-ADMM结合了ADMM和使用方差缩减技术的随机梯度法的思想。其中一个ADMM子问题采用线性化技术，而类似的线性化可以引入其他子问题。对于一个指定的选择的算法参数，它示出的目标误差和约束违反是$\mathcal{O}(1/k)$相对于外部迭代$k$的数量。在强凸性假设下，期望误差线性收敛到零。还讨论了AS-ADMM的线性化变体和增量采样策略。随机和确定性ADMM算法的数值实验表明，AS-ADMM可以特别有效的大数据应用中出现的结构化优化。
2020-10-24 math.OC
Convergence of iterates and improved rates for accelerated augmented Lagrangian methods for linearly constrained convex optimization
School of Science, Xihua University（西华大学理学院）；Department of Mathematics, Sichuan University（四川大学数学系）；Department of Mathematics, University of Electronic Science and Technology of China（电子科技大学数学系）
针对可微目标函数的线性约束凸优化问题，提出一类带有Nesterov外推参数的加速增广拉格朗日方法，证明原始-对偶序列收敛到解，并给出增广拉格朗日间隙、可行性违反和目标残差的加速估计，在非临界参数下将速率从O(1/k^2)改进到o(1/k^2)。
2026-05-27 math.OC
Accelerated Convex Optimization via Hamiltonian Dynamics with Deterministic Integration Time
Department of Computer Science, Yale University（耶鲁大学计算机科学系）；Department of EECS, Massachusetts Institute of Technology（麻省理工学院电子工程与计算机科学系）
提出基于哈密顿动力学的平滑凸优化算法，通过利用平均哈密顿流轨迹的收缩而非端点收缩，实现确定性加速收敛，并推导出具有最优一阶复杂度的离散实现。
2026-06-17 cs.LG math.OC stat.ML
An Accelerated Proximal Coordinate Gradient Method and its Application to Regularized Empirical Risk Minimization
考虑两个凸函数之和的最小化问题：一个是光滑的，由梯度预言机给出，另一个是在坐标块上可分的，在每个块上有一个简单的已知结构.我们发展了一个加速的随机邻近坐标梯度（APCG）方法来最小化这样的凸复合函数。对于强凸函数，我们的方法实现了更快的线性收敛速率比现有的随机邻近坐标梯度法。没有强凸性，我们的方法享有加速的次线性收敛速度。我们展示了如何应用APCG方法来解决正则化经验风险最小化（ERM）问题，并设计有效的实现，避免全维向量运算。对于病态的ERM问题，我们的方法获得了改进的收敛速度比最先进的随机双坐标上升（SDCA）方法。
2014-07-04 math.OC
Accelerated Prox-Level Methods for Unknown Piecewise-Smooth Optimization I: Convex Optimization
School of Industrial Engineering, Purdue University（普渡大学工业工程学院）
针对未知分段光滑凸函数在二次增长条件下的优化问题，提出加速近端水平方法APEX，实现最优一阶复杂度并提供可验证终止证书。
2026-06-02 math.OC
A Nesterov-Accelerated Primal-Dual Splitting Algorithm for Convex Nonsmooth Optimization
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
本文提出APAPC算法，通过整合Nesterov动量提升对偶方法的收敛性，实现非光滑优化问题的O(1/t²)次线性收敛及线性收敛。
2026-10-09 math.OC
Unifying Framework for Accelerated Randomized Methods in Convex Optimization
本文研究了具有简单约束和不精确预言信息的光滑凸优化问题，预言信息包括目标函数的值、偏导数或方向导数。我们引入了一个统一的框架，它允许构建不同类型的加速随机方法，这样的问题，并证明他们的收敛速度定理。我们专注于加速随机块坐标下降，加速随机方向搜索，加速随机无导数方法，并使用我们的框架，提供他们的版本与不精确的预言信息的问题。我们的贡献还包括加速随机块坐标下降与不精确的预言和熵接近的设置，以及衍生的自由版本的这种方法。此外，我们提出了一个扩展的强凸优化问题的框架。我们还讨论了目标函数的不精确模型的情况下的推广。
2020-12-16 cs.NA math.NA math.OC
New Characterizations of Nonsmooth Convex Functions via Generalized Derivatives
Department of Mathematics and Statistics, University of North Dakota（北达科他大学数学与统计系）
本文研究非光滑扩展实值弱凸函数的凸性性质，利用广义导数工具建立新的凸性刻画方法，提出必要充分条件。
2026-11-03 math.OC
