An adaptive superfast inexact proximal augmented Lagrangian method for smooth nonconvex composite optimization problems
提出了一种求解线性约束光滑非凸复合最优化问题的自适应超快近似增广拉格朗日（AS-PAL）方法。AS-PAL的每次迭代不精确地解决了一个可能的非凸近端增广拉格朗日（AL）子问题获得的一个积极的/自适应的选择接近步长的目的是大大提高其计算性能，其次是一个完整的拉格朗日乘子更新。与其他AL方法相比，AS-PAL的主要优点是它不需要参数的知识（例如，约束矩阵的大小，目标函数曲率等）与最优化问题相关联，由于其自适应性质，不仅在选择接近步长，而且在使用一个关键的自适应加速复合梯度变量来解决接近AL子问题。AS-PAL的速度和效率通过大量的计算实验证明，它可以解决许多情况下超过十倍的速度比其他国家的最先进的惩罚和AL方法，特别是当需要高精度。
2022-10-05 math.OC
A Primal-Dual Parallel Method with $O(1/ε)$ Convergence for Constrained Composite Convex Programs
本文研究了大规模约束凸规划（可能是复合的和不可分的），由于Hessians和矩阵求逆的非光滑性或过高的计算和存储复杂性，通常难以用内点法或其他Newton型方法求解。相反，它们通常通过基于一阶梯度的方法或基于分解的方法来求解。传统的原始-对偶次梯度法，也称为Arrow-Hurwicz-Uzawa次梯度法，是一种具有$O(1/ε^2)$收敛时间的低复杂度算法。最近，Yu和Neely（2017）提出了一种新的拉格朗日对偶算法，具有更快的$O(1/ε)$收敛时间。然而，如果目标或约束函数不可分离，Yu和Neely（2017）中拉格朗日对偶方法的每次迭代都需要求解无约束凸规划，这可能具有巨大的复杂性。对一般约束凸规划提出了一个新的具有$O(1/ε)$收敛性的原-对偶算法。新算法的每一步迭代都可以并行实现，即使原问题是复合的和不可分离的。
2017-07-30 math.OC
SpiderBoost and Momentum: Faster Stochastic Variance Reduction Algorithms
The Ohio State University（俄亥俄州立大学）；The University of Utah（犹他大学）；Duke University（杜克大学）
SARAH和SPIDER是最近发展起来的两种随机方差缩减算法，SPIDER在光滑非凸优化问题上具有接近最优的一阶预言复杂度。然而，SPIDER使用了一个依赖于精度的步长，这在实践中减慢了收敛速度，并且不能处理涉及非光滑正则化器的目标函数。在本文中，我们提出了SpiderBoost作为一个改进的计划，它允许使用更大的常数级步长，同时保持相同的接近最优的预言复杂度，并可以扩展与邻近映射处理复合优化（这是非光滑和非凸）与可证明的收敛保证。特别是，我们表明，近端SpiderBoost实现了复合非凸优化的$\mathcal{O}(\min\{n^{1/2}ε^{-2},ε^{-3}\})$的预言复杂性，提高了$\mathcal{O}(\min\{n^{1/6},ε^{-1/3}\})$的因子的国家的最先进的结果。我们进一步开发了一种新的动量方案来加速复合优化的SpiderBoost，该方案在理论上实现了接近最优的预言复杂度，并在实验中得到了实质性的改善。
2020-05-15 cs.LG math.OC stat.ML
The Search direction Correction makes first-order methods faster
所谓的快速惯性松弛引擎是用于无约束光滑最优化问题的一阶方法。它通过过去搜索方向、当前梯度和归一化梯度方向的线性组合来更新搜索方向。我们探索更一般的组合规则，并呼吁这种广义的技术作为搜索方向校正（SDC）。将SDC推广到复合优化和随机最优化问题。从二阶常微分方程出发，提出了一种快速惯性搜索方向校正（FISC）算法，作为SDC方法的一个例子。我们证明了FISC对凸优化问题的$\mathcal{O}(k^{-2})$收敛速度。稀疏优化，逻辑斯谛回归以及深度学习的数值结果表明，我们提出的方法是相当有竞争力的其他国家的最先进的一阶算法。
2019-05-16 math.OC
On the Convergence Rates of Iterative Regularization Algorithms for Composite Bi-Level Optimization
针对内外层均为复合结构的双层优化，论文分析 IRE-PG 及其加速版本的内外层同步收敛速率，并提出基于代理函数的近端算子处理与速率转换框架。
2025-10-04 math.OC
Proximal-Free ADMM for Decentralized Composite Optimization via Graph Simplification
我们考虑对称连通图上的分散复合优化问题，其中每个节点拥有自己的代理特定的私有凸函数，并且只允许有直接链接的节点之间进行通信.在乘子的交替方向法（ADMM）框架中，已经提出了多种算法来解决这样的问题。然而，这些算法中的许多算法需要在增广拉格朗日函数中包括一些近似项，使得所得到的算法可以以分散的方式实现。近端项的使用减慢了收敛速度，因为它迫使当前解保持接近在先前迭代中获得的解。为了解决这个问题，在本文中，我们首先介绍了最简单的二部图的概念，它被定义为一个二部图，有一个最小数量的边缘，以保持图连接。提出了一个简单的基于消息传递的两步过程来找到与原始图相关联的最简单的二部图。我们证明了最简单的二部图具有一些有趣的性质。利用这些性质，一个ADMM不涉及任何邻近项可以开发执行分散的复合优化最简单的二部图。仿真结果表明，我们提出的方法实现了更快的收敛速度比现有的国家的最先进的分散式算法。
2018-09-05 math.OC
An accelerated proximal PRS-SQP algorithm with dual ascent-descent procedures for smooth composite optimization
Guangxi Minzu University（广西民族大学）；National University of Defense Technology（国防科技大学）
针对光滑复合优化，本文提出带对偶上升-下降过程和混合加速的近端PRS-SQP算法，统一ALDA与ALDD，并在KL框架下证明更广加速因子下的可行性与收敛速率。
2026-09-30 math.OC
An Efficient Inexact Symmetric Gauss-Seidel Based Majorized ADMM for High-Dimensional Convex Composite Conic Programming
本文提出了一种求解一类高维凸复合锥最优化问题的不精确多块ADMM型一阶方法。该方法的设计结合了一个不精确的2块优化半邻近ADMM和最近的进展不精确对称高斯-赛德尔（SGS）技术解决多块凸复合二次规划，其目标包含一个非光滑项只涉及第一块变量。我们提出的方法的一个显著特点是（sGS-imsPADMM）的一个优点是，它只需要一个周期的不精确sGS方法，而不是一个未知数的周期，以解决所涉及的每个子问题。通过一些简单和可实现的容错准则，可以大大减少求解子问题的成本，并且每个sGS周期的前向扫描中的许多步骤通常可以跳过，这进一步有助于所提出的方法的效率。证明了算法的整体收敛和非遍历意义下的迭代复杂性，并对高维线性和凸二次SDP问题进行了初步的数值实验，这些问题具有大量的线性等式和不等式约束.结果表明，对于绝大多数测试问题，sGS-imsPADMM比直接扩展的多块ADMM快2 ~ 3倍，其积极步长为1.618，是目前求解多块线性和二次SDP问题的一阶方法中的基准，但其收敛性不能保证。
2016-03-17 math.OC
Efficient parameter-free restarted accelerated gradient methods for convex and strongly convex optimization
本文针对凸与强凸复合优化问题，提出了无需参数的重启方法RPF-SFISTA和激进正则化方法A-REG，通过动态检查重启条件，在多类问题上比现有方法快3至15倍。
2024-10-12 math.OC
Optimized methods for composite optimization: a reduction perspective
本文提出一种通用框架，通过代数恒等式将无约束平滑优化的优化方法直接归约推导至复合优化设定，并据此证明了近端梯度下降的步长加速现象、比 FISTA 更快的收敛速率及最小化梯度范数的新方法。
2025-06-30 cs.DS math.OC
Non-Stationary First-Order Primal-Dual Algorithms with Faster Convergence Rates
本文提出了两种新的非平稳一阶原始对偶法来求解非光滑复合凸优化问题。与现有的原始-对偶方案的参数往往是固定的，我们的方法使用预定义的和动态的参数序列。我们证明了我们的第一个算法可以实现$\mathcal{O}(1/k)$收敛速度上的原始-对偶间隙，原始和对偶目标残差，其中$k$是迭代计数器。我们的速率是非遍历的（即，原始问题的最后一个序列和遍历（即，平均）序列的对偶问题，我们称之为半遍历率。通过修改步长更新规则，可以在原始目标残差上更快地提高该速率。当问题是强凸的，我们开发了第二个原始对偶法，表现出$\mathcal{O}(1/k^2)$收敛速度相同的三种类型的保证。再次通过修改步长更新规则，该速率在原始目标残差上变得更快。我们的原始对偶法是第一个实现这种快速的收敛速度保证温和的假设相比，现有的作品，尽我们所知。作为副产品，我们应用我们的算法来解决约束凸优化问题，并证明了相同的收敛速度的目标残差和可行性违反。我们仍然获得至少$\mathcal{O}(1/k^2)$率，即使当问题是“半强”凸。我们通过两个著名的数值例子验证我们的理论结果。
2020-07-10 math.OC
A Fast Proximal Gradient Algorithm for Decentralized Composite Optimization over Directed Networks
针对有向网络多智能体系统中的一致性优化问题，提出了一种快速分散算法，其中局部目标函数具有光滑+非光滑的复合形式，并且可能是非凸的.这类问题的例子包括分散压缩感知和约束二次规划问题，以及许多分散正则化问题。我们扩展现有的算法PG-EXTRA和ExtraPush到一个新的算法PG-ExtraPush复合共识优化有向网络。该算法利用PG-EXTRA中的邻近运算符来处理非平滑项，并采用ExtraPush中的推和协议来解决有向网络引入的偏差。在适当的步长下，我们证明了PG-ExtraPush算法在一些常规假设下以线性速度收敛到最优解。我们进行了一系列的数值实验，以证明所提出的算法的有效性。具体来说，通过适当的步长，PG-ExtraPush在大多数情况下执行线性速率，即使在一些非凸情况下，也比Subgradient-Push快得多，即使后者使用手动优化的步长。数值结果也验证了所建立的理论结果。
2017-03-26 cs.DC math.OC
MAGMA: Multi-level accelerated gradient mirror descent algorithm for large-scale convex composite minimization
复合凸优化模型出现在多种应用中，并且在具有稀疏诱导范数的反问题和具有简单约束的一般凸优化中特别普遍。凸复合模型最广泛使用的算法是加速一阶方法，然而它们可能需要大量的迭代来计算大规模问题的可接受的解。在本文中，我们提出了加快一阶方法，利用目前在许多应用中，特别是在图像处理的结构。我们的方法是基于多层次的最优化方法，并利用了这样一个事实，即许多应用程序，产生大规模的模型可以模拟使用不同程度的保真度。我们使用Nesterov的加速技术与多层次的方法来实现$\mathcal{O}(1/\sqrtε)$收敛速度，其中$ε$表示所需的精度。所提出的方法具有更好的收敛速度比任何其他现有的多层方法的凸问题，此外，具有相同的速度，这是已知的最佳的一阶方法的加速方法。此外，正如我们的数值实验所示，在大规模人脸识别问题上，我们的算法比现有技术快几倍。
2016-07-14 cs.CV math.OC
Cyclic Block Coordinate Descent With Variance Reduction for Composite Nonconvex Optimization
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
非凸优化是解决许多机器学习问题的核心，在这些问题中通常会遇到块结构。在这项工作中，我们提出了非渐近梯度范数保证的非凸最优化问题的循环块坐标方法。我们的收敛性分析是基于梯度利普希茨条件的Mahalanobis规范，启发循环块坐标方法的最新进展。在确定性设置中，我们的收敛保证与（全梯度）梯度下降的保证相匹配，但梯度Lipschitz常数被定义为w.r.t.~ a Mahalanobis规范.在随机环境下，我们使用递归方差缩减来降低每次迭代的代价，并与当前最优随机全梯度法的运算复杂度相匹配，同时对有限和和无限和情况进行了统一的分析。我们证明了一个更快的线性收敛的结果时，Polyak-Pjojasiewicz（Pjs）条件成立。据我们所知，这项工作是第一个提供非渐近收敛保证-方差减少或不-循环块坐标方法在一般复合（光滑+非光滑）非凸设置。我们的实验结果证明了所提出的循环方案在训练深度神经网络方面的有效性。
2023-01-27 cs.LG math.OC
Adaptive Restart of the Optimized Gradient Method for Convex Optimization
带动量的一阶方法，如Nesterov的快速梯度法，对于凸优化问题非常有用，但在某些应用中可能会出现不希望的振荡，从而导致缓慢的收敛速度。当强凸费用函数的参数未知或迭代过程进入局部强凸区域时，自适应重新启动方案可以提高快速梯度法的收敛速度.最近，我们介绍了优化的梯度法，一阶算法，具有廉价的每次迭代的计算成本类似的快速梯度法，但有一个最坏情况下的费用函数的速度比快速梯度法的两倍，这是最佳的大规模光滑凸问题。在利用自适应重启加速快速梯度法的成功基础上，本文研究了优化梯度法的类似启发式加速。我们首先推导出一个新的一阶方法，类似于优化的梯度法的强凸二次问题与已知的函数参数，产生的线性收敛速率比类似版本的快速梯度法。然后，我们提供了一个启发式的分析和数值实验，说明自适应重新启动可以加快收敛的优化梯度法。数值结果还表明，自适应重新启动有助于非光滑复合凸函数的优化梯度法的近似形式。
2017-11-28 math.OC
Faster Projection-Free Augmented Lagrangian Methods via Weak Proximal Oracle
Technion - Israel Institute of Technology（以色列理工学院）
本文研究了一类带仿射约束的凸复合最优化问题，它包括在（简单）凸集的交集上极小化光滑凸目标函数或用多个（简单）函数正则化的问题。出于高维应用程序中，精确的投影/近端计算是不听话的，我们提出了一个\textit{projection-free}增广拉格朗日为基础的方法，其中原始更新进行使用\textit{weak proximal oracle}（WPO）。在早期的工作中，WPO被证明比基于条件梯度的方法（又名Frank-Wolfe方法）的标准\textit{linear minimization oracle}（LMO）更强大。此外，WPO是计算上易于处理的许多高维问题的兴趣，包括那些动机的恢复低秩矩阵和张量，并优化多面体，承认有效的LMO。本文的主要结果表明，在一定的曲率假设下（这是弱于强凸性），我们的基于WPO的算法实现了遍历速度$O(1/T)$的目标残差和可行性差距。据我们所知，这一结果，提高了$O(1/\sqrt{T})$率为现有的LMO为基础的无投影方法，这类问题。低秩和稀疏协方差阵估计任务和最大割半定松弛的实验表明，我们的方法可以优于最先进的基于LMO的拉格朗日方法。
2023-02-21 cs.LG math.OC
Nearly optimal first-order methods for convex optimization under gradient norm measure: An adaptive regularization approach
在一阶方法的发展中，复合）凸优化问题，其中具有Lipschitz连续梯度的光滑函数被最小化，梯度（分别，梯度映射）范数成为基本的最优性度量。在此度量下，具有最佳迭代复杂度的固定迭代算法是已知的，而确定此迭代次数以获得期望的精度需要从初始点到最优解集的距离的先验知识。在本文中，我们报告了一个自适应正则化方法，它获得了接近最优的迭代复杂度，而不知道的最优解集的距离。为了获得更快的自适应收敛，我们其次采用这种方法来构建一个一阶的方法，是自适应的Hölderian误差界条件（或等价地，梯度性质），它涵盖了适度广泛的应用。所提出的方法达到了接近最优的迭代复杂度的梯度映射规范。
2020-10-05 math.OC
Time-Reversed Dissipation Induces Duality Between Minimizing Gradient Norm and Function Value
本文提出H-duality，通过时间反演耗散项建立最小化函数值与最小化梯度范数方法之间的一一对应关系，并据此推导出新方法且改进FISTA-G。
2023-11-01 math.OC
ADMM for Nonconvex Optimization under Minimal Continuity Assumption
本文提出IPDS-ADMM算法，在仅要求目标函数单块连续的宽松条件下求解多块非凸复合优化问题，通过递增惩罚与递减平滑策略，实现了O(ε^{-3})的预言机复杂度，并在稀疏PCA实验中验证了有效性。
2025-03-31 math.OC
A piecewise conservative method for unconstrained convex optimization
我们考虑一种基于动力系统的连续时间最优化方法，其中一个静止的大质量粒子在由目标函数产生的保守力场中移动，没有任何摩擦。我们提出了一个基于动能平均耗散的重新开始准则，并证明了强凸函数的一个整体收敛结果。利用辛欧拉离散格式，我们得到了一个迭代优化算法。我们已经考虑了一个离散的平均耗散重启计划，但我们也引入了一个新的重启程序的基础上，确保在每次迭代的目标函数的减少大于一个步骤的经典梯度法。对于离散保守算法，这最后一个重新启动标准是能够保证收敛结果。我们将同样的重新启动方案应用于Nesterov加速梯度（NAG-C），并将此重新启动的NAG-C作为数值实验的基准。在光滑凸问题中，我们的方法显示出比重新启动的NAG-C更快的收敛速度。我们提出了一个扩展的离散保守算法的复合优化：在数值测试涉及非强凸函数与$\ell^1$ -正则化，它有更好的性能比著名的高效快速迭代收缩-保持算法，自适应重启计划加速。
2021-10-18 math.OC
Heavy Ball Momentum for Non-Strongly Convex Optimization
本研究将Heavy Ball动量方法拓展至满足二次增长条件的非强凸复合函数，适配了V-FISTA算法，得到了优于现有文献的最坏情况收敛速度，且无需已知精确条件数。
2025-01-16 math.OC
