Duality for Composite Optimization Problem within the Framework of Abstract Convexity
本文在抽象凸性的框架下研究了复合最优化问题的共轭对偶和Lagrange对偶。给出了共轭对偶中对偶间隙为零的条件。对于拉格朗日对偶，应用交集性质获得零对偶间隙。建立了Lagrange对偶与共轭对偶之间的联系。给出了与凸函数和弱凸函数有关的例子。
2022-09-06 math.OC
An Average Curvature Accelerated Composite Gradient Method for Nonconvex Smooth Composite Optimization Problems
本文提出了一种求解非凸光滑复合极小化问题的加速复合梯度（ACG）方法，简称AC-ACG方法。与基于已知Lipschitz梯度常数或最大观测曲率序列的众所周知的ACG变体相反，当前的ACG变体基于所有过去观测曲率的平均值。更具体地说，AC-ACG使用直到上一次迭代为止的所有观测到的曲率的平均值的正倍数作为估计当前点处的“函数曲率”的方式，然后使用两个预解式评估来计算下一个曲率。与其他变量Lipschitz估计变体相比，例如，基于最大曲率的那些，AC-ACG总是接受前述的误差，而不管Lipschitz估计结果有多差。最后，计算结果表明，AC-ACG的效率随机生成和现实世界的问题实例。
2020-10-29 math.OC
Backtracking strategies for accelerated descent methods with smooth composite objectives
我们提出并分析了一种通用的快速迭代收缩/保持算法的回溯策略，该算法最近在（Chambolle，Pock，2016）中针对强凸目标函数提出。与经典的Armijo型线搜索不同，我们的回溯规则允许沿着迭代局部增大和减小下降步长（即邻近参数）。证明了这种策略的加速收敛速度，并给出了一些典型成像问题的数值结果。
2019-01-02 math.OC
A study of convex convex-composite functions via infimal convolution with applications
本文给出了有限维空间中凸-凸复合函数的完全共轭性和次微分。我们的方法，基于无穷卷积和锥凸性，是简单的，并产生所需的结果下一个可验证的斯莱特型条件下，放松单调性和没有下半连续性假设的功能在玩。我们的研究结果的多功能性说明了一系列的应用程序在优化和矩阵分析，包括圆锥规划，矩阵分数，变分革兰氏，谱函数。
2019-08-21 math.OC
Boosting Accelerated Proximal Gradient Method with Adaptive Sampling for Stochastic Composite Optimization
本文提出带自适应采样的 adaNAPG 算法以增强随机复合优化中的 NAPG，并证明其达到最优迭代与样本复杂度，且迭代序列满足中心极限定理。
2025-07-24 math.OC
Iteration-complexity of an inexact proximal accelerated augmented Lagrangian method for solving linearly constrained smooth nonconvex composite optimization problems
提出并建立了求解线性约束光滑非凸复合最优化问题的非精确近似加速增广拉格朗日（IPAAL）方法的迭代复杂度.每个IPAAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度（ACG）方法，然后由一个合适的拉格朗日乘子更新。结果表明，IPAAL生成一个近似的稳态解在最多${\cal O}(\log(1/ρ)/ρ^{3})$ ACG迭代，其中$ρ>0$是给定的公差。它还表明，以前的复杂性界可以锐化为${\cal O}(\log(1/ρ)/ρ^{2.5})$下额外的轻度更强的假设。上述界是在假设初始点既不可行，也不假设目标函数的复合项的域有界的条件下导出的。一些初步的数值结果来说明IPAAL方法的性能。
2020-06-14 math.OC
An Accelerated Inexact Dampened Augmented Lagrangian Method for Linearly-Constrained Nonconvex Composite Optimization Problems
提出并分析了求解线性约束非凸组合最优化问题的加速不精确阻尼增广拉格朗日（AIDAL）方法。AIDAL方法的每次迭代包括：（i）通过调用加速复合梯度（ACG）子例程不精确地求解阻尼近端增广拉格朗日（AL）子问题;（ii）应用阻尼和欠松弛拉格朗日乘子更新;以及（iii）使用新的测试来检查AL函数的罚参数是否应该增加。在几个温和的假设下，涉及阻尼因子和下松弛常数，它表明，AIDAL方法产生的约束问题的近似稳定点在${\cal O}(\varepsilon^{-5/2}\log\varepsilon^{-1})$迭代的ACG子程序，对于一个给定的公差$\varepsilon>0$。数值实验也显示了所提出的方法的计算效率。
2023-02-07 math.OC
An efficient adaptive accelerated inexact proximal point method for solving linearly constrained nonconvex composite problems
本文提出了一种有效的自适应二次惩罚加速不精确邻近点（QP-AIPP）的方法提出了较早的作者。QP-AIPP方法和它的变体都使用二次惩罚方法来解决线性集约束的非凸复合最优化问题，其中生成的惩罚子问题由底层AIPP方法的变体来解决。该变体，反过来，解决了一个给定的惩罚子问题，产生一系列的近端子问题，然后解决了加速复合梯度算法。AIPP和它的变体之间的主要区别是，在前者的近端子问题总是凸的，而在后者的不一定是凸的，由于事实上，他们的prox参数选择尽可能积极，以提高效率。AIPP变体产生的可能非凸邻近子问题也尝试解决了一种新的自适应加速复合梯度算法的有效性的基础上，一些关键的收敛不等式。其结果是，该变体生成一系列的近端子问题，其中的步长自适应地改变根据从调用到加速复合梯度算法的响应。最后，数值结果证明了所提出的AIPP和QP-AIPP变体的效率。
2019-12-05 math.OC
Proximal methods for minimizing the sum of a convex function and a composite function
本文将\cite{Nesterov2007a}和\cite{Nesterov2007b}中提出的算法方案推广到复合目标函数和凸函数之和的最小化问题。给出了两个邻近点型格式，并研究了它们的整体收敛性。在一定的利普希茨条件和非退化条件下，估计了最坏情况下的复杂性界.然后对算法进行加速，使其在强凸情形下具有更快的收敛速度。
2011-05-02 math.OC
Zero Order Stochastic Weakly Convex Composite Optimization
本文考虑随机弱凸复合问题，但不存在随机次梯度预言。我们提出了一个导数免费算法，使用两点近似计算的平滑函数的梯度估计。我们证明了收敛速度与最先进的方法相似，但具有较大的常数，并报告了一些数值结果，表明该方法的有效性。
2020-02-19 math.OC
A FISTA-Type First Order Algorithm on Composite Optimization Problems that is Adaptable to the Convex Situation
本文提出了一种求解复合最优化问题的FISTA型一阶算法VAR-FISTA。VAR-FISTA的一个显着特点是它能够利用问题中函数的凸性，当函数是凸函数时，与非凸函数相比，迭代复杂性有所提高。文中给出的凸和非凸情形的迭代复杂性结果与文献中已知的结果一致。
2020-08-22 math.OC
Universal composite prox-method for strictly convex optimization problems
我们提出了一个简单的方法来解释宇宙方法的余。涅斯捷罗夫在此基础上，利用重新开始技术，我们提出了严格凸最优化问题的泛方法。我们考虑一般的邻近设置（不一定是欧几里得设置）。
2016-10-31 math.OC
Convergence of the Gauss-Newton method for convex composite optimization under a majorant condition
在初始点为拟正则点的假设下，利用优势条件给出了求解凸复合最优化问题的推广Gauss-Newton方法的一个新的半局部收敛性分析.在这个分析中，收敛的条件和证明被简化，通过使用一个简单的优势条件来定义区域，高斯-牛顿序列是“良好的表现”。
2011-07-19 math.OC
Mini-batch stochastic Nesterov's smoothing method for constrained convex stochastic composite optimization
考虑一类约束凸随机组合最优化问题，其目标函数由一个可微凸分支和一个非光滑凸分支之和给出.非光滑分量具有显式的max结构，这可能不容易计算其邻近映射。为了解决这些问题，我们提出了一个小批量随机Nesterov平滑（MSNS）方法。建立了该方法的收敛性和最优迭代复杂度。数值结果表明，所提出的MSNS方法的支持向量机（SVM）模型的效率。
2021-09-11 math.OC
Weighted iteration complexity of the sPADMM on the KKT residuals for convex composite optimization
本文针对凸复合最优化问题，建立了基于sPADMM（半邻近交替方向法）的KKT残差的$\mathcal{O}({1}/{k})$加权迭代复杂度.这个结果，这是来自一个新的广义HPE（混合近端额外梯度）迭代公式的帮助下，第一次填补了一个大的步长和它的许多近端变量的经典ADMM的遍历迭代复杂性的空白。
2016-11-10 math.OC
A smoothing extended sequential quadratic method for difference-of-convex optimization over a convex composite inequality constraint
the Hong Kong Polytechnic University（香港理工大学）；Sichuan Normal University（四川师范大学）
提出一种平滑扩展序列二次方法求解差凸目标与凸复合不等式约束问题，通过平滑近似和参数更新实现O(ε^{-3})迭代复杂度，并证明凸情形下序列收敛及局部收敛率。
2026-06-12 math.OC
Strong Metric (Sub)regularity of KKT Mappings for Piecewise Linear-Quadratic Convex-Composite Optimization
本文研究了凸复合优化问题的牛顿法和拟牛顿法的局部收敛理论：极小化f（x）：=h（c（x）），其中h是无穷值正常凸函数，c是C^2光滑的.我们专注于的情况下，h是无限值分段线性二次和凸。这些问题包括非线性规划、极小极大优化、非高斯噪声下的非线性动力学估计以及许多现代大规模数据分析和机器学习方法。我们的方法嵌入到一个广义方程的凸复合最优化问题的最优性条件。建立了相应的集值映射的强度量次正则性和强度量正则性的条件。这使我们能够扩展牛顿和拟牛顿法的经典收敛到更广泛的一类非有限值分段线性二次凸复合最优化问题。特别是，我们建立了局部平方收敛的牛顿法的条件下，平行于那些在非线性规划时，h是非有限值分段线性。
2018-06-17 math.OC
Iteration-complexity of a proximal augmented Lagrangian method for solving nonconvex composite optimization problems with nonlinear convex constraints
提出并分析了一种求解非线性$\cal K$ -凸约束光滑非凸复合最优化问题的近似增广拉格朗日（NL-IAPIAL）方法，约束相对于由闭合凸锥$\cal K$给出的阶是凸的。每个NL-IAPIAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度（ACG）方法，然后由拉格朗日乘子更新。在一些温和的假设下，证明了NL-IAPIAL在${\cal O}(\log(1/ρ)/ρ^{3})$内迭代中生成约束问题的近似稳态解，其中$ρ>0$是给定的容差.数值实验也说明了所提出的方法的计算效率。
2022-07-05 math.OC
Value-Function Root-Finding Algorithms for Composite Convex Simple Bilevel Optimization
Fudan University（复旦大学）；The Chinese University of Hong Kong（香港中文大学）；Nankai University（南开大学）
针对复合凸简单双层优化问题，提出基于拉格朗日对偶的一阶谕示值函数评估方法，结合二分法与带保护牛顿型方法求(ε,ε)-解，复杂度达$\tilde{\u2112}(ε^{-1/2})$，匹配现有近最优结果。
2026-08-28 math.OC
A Linearly Convergent Majorized ADMM with Indefinite Proximal Terms for Convex Composite Programming and Its Applications
研究凸组合最优化问题的一种优化的不定邻近项乘子交替方向法（iPADMM）.我们发现，优化的iPADMM的2块凸最优化问题的全局收敛的条件下较弱的文献中所使用的，并表现出线性收敛速率下的局部误差界条件。在此基础上，我们建立了一个基于对称Gaussian-Seidel的优化iPADMM的线性速度收敛结果，该算法是针对多块复合凸优化问题而设计的。此外，我们应用优化的iPADMM来解决不同类型的正则化逻辑斯谛回归问题。合成和真实数据集上的数值结果证明了优化的iPADMM的有效性，也说明了引入的不定邻近项的有效性。
2018-02-07 math.OC
Zeroth-Order Katyusha: An Accelerated Derivative-Free Method for Composite Convex Optimization
针对约束/复合凸优化中两点零阶梯度估计器导致的复杂度界差距问题，提出融合方差缩减与加速技术的ZO-L-Katyusha算法，实现复合光滑强凸问题的加速线性收敛，达到与无约束情形一致的预言机复杂度，平均函数查询次数达O(1)。
2024-07-12 math.OC
A $\sqrt{2}$-accelerated FISTA for composite strongly convex problems
Institute of Science Tokyo（东京科学大学）
本研究针对复合强凸优化问题，通过离散化ITEM连续时间模型提出新型加速前向-后向分裂算法，收敛速率指数首项常数较FISTA提升$\frac{1}{\text{误差项}}$倍，且弱凸条件下和为凸时分析仍有效。
2026-08-07 math.OC
Faster Stochastic ADMM for Nonsmooth Composite Convex Optimization in Hilbert Space
School of Mathematics and Statistics, Lanzhou University（兰州大学数学与统计学院）；School of Mathematics, Jilin University（吉林大学数学学院）
本文提出一种随机交替方向乘子法用于解决Hilbert空间中非光滑复合和随机凸优化问题，证明了在强凸情况下算法的强收敛性，并展示了在强凸和一般凸情况下功能值和可行性违反的更快非平稳收敛率。
2026-05-15 math.OC
Forward-backward truncated Newton methods for convex composite optimization
针对复合形式的凸非光滑最优化问题，提出了两种近似Newton-CG方法。该算法是基于一个重新制定的原始非光滑问题的无约束极小化的连续可微函数，即向前向后包络（FBE）。第一个算法是基于一个标准的线搜索策略，而第二个结合了相应的一阶方法的全局效率估计，同时实现快速的渐近收敛率。此外，它们在计算上是有吸引力的，因为每个牛顿迭代需要通常小维度的线性系的近似解。
2014-02-28 math.OC
Estimating Sequences with Memory for Minimizing Convex Non-smooth Composite Functions
针对凸非光滑复合目标优化问题，提出基于带记忆广义复合估计序列的新型加速一阶方法，具备回溯线搜索、无需已知Lipschitz常数、对强凸参数不完美认知鲁棒的特性，数值实验验证了其在数据处理中的效率与有效性。
2025-10-03 math.OC
Adaptive smoothing mini-batch stochastic accelerated gradient method for nonsmooth convex stochastic composite optimization
考虑一类凸约束非光滑凸随机复合最优化问题，其目标函数由可微凸分量与一般非光滑但凸分量之和给出。非光滑组件不需要具有容易获得的近端操作符，或者具有可以使用[Nesterov，2005]中的平滑技术的最大结构。为了解决这类问题，我们提出了一个自适应平滑小批量随机加速梯度（AdaSMSAG）方法，它结合了随机逼近方法，Nesterov的加速梯度法，和平滑方法，允许一般平滑近似。建立了该方法的收敛性。此外，最坏情况下的迭代复杂度的顺序是优于最先进的随机逼近方法。数值结果表明，建议的AdaSMSAG方法的有效性的风险管理投资组合优化和一个家庭的Wasserstein分布鲁棒支持向量机问题与实际数据。
2021-12-07 math.OC
Proximal bundle methods for hybrid weakly convex composite optimization problems
University of Rochester（罗切斯特大学）；Georgia Institute of Technology（佐治亚理工学院）
本文通过统一的近邻束框架研究了混合弱凸复合优化问题的迭代复杂度，提出易于验证的站稳性度量替代传统难以检查的站稳条件。
2026-10-19 math.OC
Diminishing Stepsize Methods for Nonconvex Composite Problems via Ghost Penalties: from the General to the Convex Regular Constrained Case
本文扩展了非凸约束问题的递减步长方法以处理等式约束和复合非光滑目标，并证明在凸约束满足标准约束规范时可大幅简化算法、降低每次迭代计算量。
2020-07-30 math.OC
Composite Convex Optimization with Global and Local Inexact Oracles
本文对复合凸极小化中的一类广泛的凸函数引入了新的全局和局部不精确预言的概念。这种不精确的预言自然来自原始对偶框架，障碍平滑，梯度和Hessian的不精确计算以及许多其他情况。我们还提供的例子表明，类的凸函数配备了新的不精确的二阶预言是大于标准的自协调以及Lipschitz梯度函数类。此外，我们研究了凸函数和/或自协调函数在不精确二阶预言机下的几个性质，这对算法的发展是有用的。接下来，我们应用我们的理论来开发不精确的近端牛顿型计划，以最小化一般复合凸最小化问题，配备了这样的不精确的预言。我们的理论结果包括新的优化算法，并具有整体收敛保证，可解决广泛的复合凸优化问题。当第一个目标项是额外的自协调，我们建立了不同的局部收敛结果，我们的方法。特别是，我们证明，根据选择的不精确的二阶预言机的精度水平，我们得到不同的局部收敛速度范围从$R$ -线性和$R$ -超线性到$R$ -二次。在特殊情况下，收敛界限是已知的，我们的理论恢复最好的已知速率。我们还应用我们的设置，以获得一个新的原始-对偶复合凸极小化问题的方法。最后，我们提出了一些有代表性的数值例子来说明我们的新算法的好处。
2020-02-23 math.OC
Convex analysis for composite functions without K-convexity
Google Research（谷歌研究院）
本文提出了一种无需K-凸性的复合函数凸分析方法，通过扰动函数对偶性理论扩展了现有结果，并提供了更宽松的共轭和子微分公式条件。
2026-01-15 math.OC
Primal Characterizations of Error Bounds for Composite-convex Inequalities
本文讨论了一般函数误差界的基本条件。利用Bouligand切锥、Hadamard下方向导数和子集的Hausdorff-Pompeiu过剩，在适当的假设下，给出了几个误差界的充要条件充分条件.然后，我们利用这些原始结果来刻画复合凸函数（即凸函数与连续微分映射的复合）的误差界。证明了若映射在给定点处度量正则，则误差界的原始特征可由Bouligand切锥、方向导数和Hausdorff-Pompeiu过剩建立.同时给出了误差界模的精确估计。
2022-10-01 math.OC
Linear Rate Convergence of the Alternating Direction Method of Multipliers for Convex Composite Quadratic and Semi-Definite Programming
对求解线性约束凸组合最优化问题的乘子交替方向法的线性速度收敛性进行了全面的分析.在一定的误差界条件下，我们建立了一个更一般的半邻近ADMM的全局线性收敛速率，其对偶步长被限制在开区间$(0, (1+\sqrt{5})/2)$内。在我们的分析中，我们既不假设强凸性，也不假设严格互补性，除了一个误差界条件，这对凸复合二次规划自动成立。这种半近似ADMM包含了经典ADMM的优点，不仅解决了经典ADMM中子问题的潜在不可解性问题，而且具有高效处理多块凸优化问题的能力.我们将用凸复合二次规划和二次半定规划作为重要的应用来证明所得结果的意义。利用二阶变分分析中的新颖性，通过二阶充分最优性条件和严格的Robinson约束规格，对非线性凸半定最优化问题的孤立镇定性进行了完整的刻画，证明了半近似ADMM应用于两块和多块凸二次半定规划时的线性速度收敛性.
2015-08-10 math.OC
Optimal Decentralized Composite Optimization for Convex Functions
针对含非光滑正则项的凸函数去中心化复合优化缺乏最优算法的问题，本文提出首个同时达到最优计算与通信复杂度的算法，填补了研究空白，且实验验证了其有效性与高效性。
2024-07-13 math.OC
Incremental proximal gradient scheme with penalization for constrained composite convex optimization problems
本文研究了凸可微函数的极小元集约束下的凸函数有限和的极小化问题。为了解决这一问题，提出了一种将增量最近梯度法与平滑惩罚技术相结合的算法。我们证明了生成的迭代序列收敛到最优化问题的最优解，只要满足通过约束函数的Fenchel共轭表示的条件。最后，通过数值实验说明了该方法的功能，解决图像修复问题和广义Heron问题与最小二乘约束。
2020-04-20 math.OC
On the non-ergodic convergence rate of an inexact augmented Lagrangian framework for composite convex programming
本文考虑线性约束复合凸优化问题，其目标是一个光滑函数与一个可能非光滑函数之和。我们提出了一个不精确的增广拉格朗日（IAL）框架来解决这个问题。在解决增广拉格朗日（AL）子问题中使用的停止标准建议的IAL框架是较弱的，可能更容易检查比大多数现有的IAL框架/方法中使用的一个。我们分析了所提出的IAL框架的整体收敛和非遍历收敛速度。
2018-03-27 math.OC
An accelerated inexact proximal point method for solving nonconvex-concave min-max problems
本文提出了光滑计划获得近似的无约束或线性约束的复合非凸-凹最小-最大（因此非光滑）问题的稳定点，通过应用著名的算法，以复合光滑近似的原始问题。更具体地说，在不受约束的（resp。约束）的情况下，原问题的近似稳定点，通过应用，其复合光滑近似，加速不精确的邻近点（分别）。二次罚分）的方法在以前的文件中提出的作者。迭代的复杂性界限，这两个平滑计划也成立。最后，数值结果证明了无约束光顺格式的有效性。
2021-06-17 math.OC
Limited Memory Kelley's Method Converges for Composite Convex and Submodular Objectives
原始单纯形法（OSM），经典的凯利的割平面法的一个变种，已被证明收敛到一个复合凸和次模目标的最小值，虽然没有收敛速率为这种方法是已知的。此外，OSM需要在每次迭代中解决子问题，其大小随迭代次数线性增长。我们提出了一个有限的内存版本的凯利的方法（L-KM）和OS OSM，需要有限的内存（最多n + 1个约束的n维问题）独立的迭代。我们证明了收敛的L-KM时的凸部分的目标（g）是强凸的，并显示它线性收敛时，g也是光滑的。我们的分析依赖于最小化的复合目标和最小化的凸函数在相应的子模基多面体之间的对偶。我们引入了一个有限的内存版本，L-FCFW，完全校正Frank-Wolfe（FCFW）方法与近似校正，解决对偶问题。我们表明，L-FCFW和L-KM是对偶算法，产生相同的迭代序列，因此都线性收敛（当g是光滑和强凸），并具有有限的内存。我们建议L-KM，以尽量减少复合凸和submodular的目标，但是，我们的结果L-FCFW一般多面体举行，可能是独立的利益。
2018-12-18 math.OC
MOCCA: mirrored convex/concave optimization for nonconvex composite functions
在高维统计中出现的许多最优化问题自然地分解为若干项的和，其中单个项相对简单，但是复合目标函数只能用迭代算法来优化。本文主要研究F（Kx）+ G（x）形式的最优化问题，其中K是固定的线性变换，F和G是非凸和/或不可微的函数.特别是，如果任何一项是非凸的，现有的交替最小化技术可能无法收敛;其他类型的现有方法可能无法处理不可微性。我们提出了MOCCA（镜像凸/凹）算法，一个原始/对偶优化方法，需要在每次迭代的每个术语的局部凸近似。受计算机断层扫描（CT）成像中出现的最优化问题的启发，该算法可以处理一系列非凸的复合最优化问题，并在整个问题近似凸（即，一项中的任何凸性被另一项中的凸性抵消）时提供收敛的理论保证。实验结果表明，几个结构化的信号恢复问题的快速收敛。
2016-06-29 math.OC
A single cut proximal bundle method for stochastic convex composite optimization
本文针对期望函数与闭凸复合函数之和的优化问题，提出了首个能处理连续分布的随机复合近邻束（SCPB）方法，并在参数已知或未知时分别证明其最优复杂度保证，实验表明其显著优于RSA方法。
2023-10-20 math.OC
Variable Smoothing for Weakly Convex Composite Functions
本文研究了结构化目标函数的极小化问题，该目标函数是一个光滑函数与一个弱凸函数与一个线性算子的复合函数之和。应用包括图像重建问题的正则化，引入比标准的凸正则化更少的偏见。我们开发了一个可变的平滑算法，基于Moreau包络的平滑参数的递减序列，并证明了一个复杂的$\mathcal{O}(ε^{-3})$实现$ε$ -近似解。该界介于光滑情形的$\mathcal{O}(ε^{-2})$界和次梯度方法的$\mathcal{O}(ε^{-4})$界之间。我们的复杂性界与其他处理弱凸函数的结构非光滑性的工作是一致的。
2021-05-31 math.OC
A FISTA-type accelerated gradient algorithm for solving smooth nonconvex composite optimization problems
本文描述并建立了求解光滑非凸复合优化问题的两个加速复合梯度（ACG）变量的迭代复杂度，该问题的目标函数是一个具有Lipschitz连续梯度的非凸可微函数$ f $和一个简单的非光滑闭凸函数$ h $之和.当$f$是凸的时，对于输入的特定选择，第一个ACG变体简化为众所周知的FISTA，因此第一个可以被视为后一个到非凸设置的自然扩展。第一个变体需要输入对$(M,m)$，使得$f$是$m$ -弱凸的，$\nabla f$是$M$ -Lipschitz连续的，以及$m \le M$（可能是$m<M$），其通常难以获得或估计不佳。另一方面，第二种变体可以从任意输入对$(M,m)$的正标量和其复杂性被证明是不差，在某些情况下，比第一种变体的输入对的大范围。最后，数值结果来说明两个ACG变体的效率。
2021-03-06 math.OC
Computer-Assisted Design of Accelerated Composite Optimization Methods: OptISTA
University of California, Los Angeles（加州大学洛杉矶分校）；Rice University（莱斯大学）
OptISTA通过双函数步长优化PEP方法，在复合优化中设计出精确最优的一阶方法，解决了最优一阶方法的搜索问题。
2025-11-22 math.OC
On the Linear Convergence Rate of Generalized ADMM for Convex Composite Programming
近年来，Eckstein \& Bertsekas [Math.Prog.，1992]在分析其理论收敛性方面引起了广泛的关注。本文致力于建立求解线性约束凸组合最优化问题的半近似GADMM（sPGADMM）的线性收敛速率。每个子问题所包含的半邻近项具有有效处理多块问题的能力。首先给出了sPGADMM产生的序列的一些重要不等式，然后在镇定假设下建立了局部线性收敛速率.作为副产品，整体收敛性质也进行了讨论。
2022-06-08 math.OC
Study of the behaviour of Nesterov Accelerated Gradient in a non convex setting: the strongly quasar convex case
Univ. Bordeaux, Bordeaux INP, CNRS, IMB, UMR 5251（波尔多大学，波尔多理工学院，法国国家科学研究中心，IMB）；IMT, Univ. Toulouse, INSA Toulouse（数学与计算机科学高等研究学院，图卢兹大学，图卢兹国立应用科学学院）
本文研究Nesterov加速梯度（NAG）算法在强类凸函数上的收敛性，通过高分辨率ODE分析证明在较低曲率假设下可实现加速收敛，并指出关键几何性质缺失会导致加速现象消失。
2026-05-26 math.OC
A Stochastic Proximal Gradient Framework for Decentralized Non-Convex Composite Optimization: Topology-Independent Sample Complexity and Communication Efficiency
分散式优化是一种很有前途的并行计算范例，用于定义在节点网络上的大规模数据分析和机器学习问题。研究了具有总体风险或经验风险的分散非凸组合问题。特别地，网络节点的任务是找到局部的、平滑的、可能非凸的风险函数加上可能不可微的扩展值凸正则化子的平均值的近似稳定点。在这个一般配方下，我们提出了第一个可证明有效的随机邻近梯度框架，称为ProxGT。具体来说，我们构建和分析ProxGT的几个实例，分别为不同的问题类的兴趣。值得注意的是，我们表明，这些实例的样本复杂性是网络拓扑无关的，并实现线性加速相比，在一个单一的节点上实现相应的集中式优化方法。
2021-10-04 math.OC
A Majorized ADMM with Indefinite Proximal Terms for Linearly Constrained Convex Composite Optimization
本文提出了一种求解线性约束$2$ -块凸组合最优化问题的带不定邻近项的优化交替方向乘子法（ADMM），目标块为一个非光滑凸函数与一个光滑凸函数之和，$\min_{x \in {\cal X}, \; y \in {\cal Y}}\{p(x)+f(x) + q(y)+g(y)\mid A^* x+B^* y = c\}$。通过适当地选择不定邻近项，我们证明了所提出的方法对于步长$τ\in (0, (1+\sqrt{5})/2)$的整体收敛和$O(1/k)$遍历迭代复杂性。计算的好处，而不是目前的要求，半正定的ADMM框架内使用不确定的邻近项的数值也证明了。这为提高ADMM及其相关方法的实际性能开辟了一条新的途径。
2015-06-23 math.OC
A Majorized-Generalized Alternating Direction Method of Multipliers for Convex Composite Programming
目标函数包含两个块且每个块为非光滑+光滑形式的线性约束凸组合规划问题在许多应用领域中经常出现。如果两个光滑项都是二次项，则利用基于对称高斯-赛德尔（sGS）技术的乘子邻近交替方向法（ADMM）可以有效地解决该问题。然而，在非二次情形下，SGS技术不能再使用，这导致非光滑+光滑的可分离结构不得不被忽略。在本文中，我们提出了一个广义ADMM，特别是使用优化技术，使相应的子问题更适合于有效的计算。在适当的条件下，证明了$(0,2)$中松弛因子的整体收敛.应用该算法求解了一类模拟凸复合最优化问题和一类稀疏协方差阵逆估计问题，结果表明该算法的有效性是明显的。
2021-11-24 math.OC
Stochastic smoothing accelerated gradient method for general constrained nonsmooth convex composite optimization
Beijing Jiaotong University（北京交通大学）
本文提出了一种随机平滑加速梯度方法，用于解决一般约束非光滑凸复合优化问题，通过可变样本大小实现最优迭代和SFO复杂度。
2026-01-31 math.OC
Multi-cut stochastic approximation methods for solving stochastic convex composite optimization
University of Rochester（罗切斯特大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出了一种多切随机近似方法，用于高效求解随机凸组合优化问题，实现了近最优收敛速率和优于其他方法的计算性能。
2026-10-27 math.OC
A Proximal Stochastic Gradient Method with Adaptive Step Size and Variance Reduction for Convex Composite Optimization
School of Mathematics and Statistics, Chongqing University of Posts and Telecommunications（重庆邮电大学数学与统计学院）
本文提出一种近端随机梯度算法（PSGA），通过引入方差减少技术和自适应步长策略，解决复合优化问题。证明了在光滑凸函数Lipschitz连续时方法的强收敛性，并得到O(√(1/k))的收敛速率。
2026-04-03 math.OC
A Generalized Accelerated Composite Gradient Method: Uniting Nesterov's Fast Gradient Method and FISTA
求解大规模凸优化问题的一阶加速黑箱方法主要有快速梯度法和快速迭代收缩保持算法。FGM要求目标是有限的和可微的已知梯度Lipschitz常数。FISTA适用于更广泛的复合目标类，并配备了线搜索过程估计Lipschitz常数。然而，FISTA不能增加步长并且不能利用强凸性。FGM和FISTA在形式上非常相似。尽管如此，他们似乎有着截然不同的趋同分析。在这项工作中，我们推广了以前介绍的增广估计序列框架以及相关的概念的差距序列。我们通过构建广义加速复合梯度法来展示我们工具的灵活性，该方法将FGM和FISTA及其最受欢迎的变体结合起来。在推导我们的方法中使用的广义间隙序列的李雅普诺夫性质意味着FGM和FISTA都适合李雅普诺夫分析，常见的优化算法。我们进一步展示了我们的工具的灵活性，赋予我们的方法与单调递减的目标函数值旁边的一个通用的线搜索过程。通过同时结合FGM和FISTA的优势，我们的方法能够在鲁棒性和可用性方面超越两者。我们通过对复合问题的广泛基准的模拟结果来支持我们的发现。我们的实验表明，单调性有稳定的收敛效果和挑战的概念，目前在文献中，强凸目标，加速近端计划可以减少到固定的动量方法。
2019-10-28 math.OC
A Unified Algorithmic Framework of Symmetric Gauss-Seidel Decomposition based Proximal ADMMs for Convex Composite Programming
针对凸组合最优化问题，给出了几种基于对称Gauss-Seidel分解的多块邻近交替方向法的推广.所提出的方法统一和完善了许多建设性的技术，分别开发的多块ADMM型算法的计算效率。具体而言，优化增广拉格朗日函数，不定邻近项，不精确对称高斯-赛德尔分解定理，近似求解子问题的容差准则，以及大的对偶步长，都被纳入一个算法框架，我们命名为sGS-imiPADMM。从近年来多块ADMM的收敛变体的流行，特别是对于高维多块凸复合锥规划问题，本文提出的统一，以及相应的收敛性结果，可能有很大的潜力，促进许多多块ADMM在各种问题设置的实施。
2019-04-04 math.OC
A Conditional Gradient Framework for Composite Convex Minimization with Applications to Semidefinite Programming
我们提出了一个具有广泛应用的复合凸最小化模板的条件梯度框架。我们的方法结合了平滑和同伦技术的CGM框架下，并证明达到最佳的$\mathcal{O}(1/\sqrt{k})$收敛速度。我们证明了，同样的速度举行，如果线性子问题近似解决加性或乘性误差。与相关工作相比，当非光滑项是指示函数时，我们能够刻画收敛性。我们的框架的具体应用包括非光滑最小化，半定规划，最小化与线性包含约束的紧域。数字证据证明了我们的框架的好处。
2018-08-20 math.OC
A Parameter-free Decentralized Algorithm for Composite Convex Optimization
针对网络去中心化复合凸优化问题，提出一种基于三算子分裂与BCV度量重构的无参数自适应步长去中心化算法，仅需局部回溯无需全局信息，具备收敛保证且性能优于现有非自适应方法。
2025-08-02 math.OC
