A stochastic coordinate descent primal-dual algorithm with dynamic stepsize for large-scale composite optimization
本文考虑了两个凸函数之和与另一个凸函数与一个连续线性算子的复合的极小化问题。利用坐标下降的思想，设计了一种具有动态步长的随机坐标下降原对偶分裂算法。基于随机化的修正Krasnosel'skiii-Mann迭代和邻近算子的强非扩张性，我们证明了算法的收敛性.此外，我们给出了我们的方法的两个应用。
2016-04-14 math.OC
A primal-dual splitting algorithm for composite monotone inclusions with minimal lifting
本文研究了求解复合单调包含问题的预解式分裂算法。这些一般问题的目标是寻找由线性算子组成的极大单调算子和的零点。我们的主要贡献是建立了复合单调包含的第一个最小提升原对偶分裂算法。具体而言，所提出的计划减少了基本的不动点运营商定义的积空间的尺寸相比，其他算法，而不需要额外的评估的预解算子。我们证明了这种新算法的收敛性，并分析了它在图像去模糊和去噪问题中的性能。这项工作也有助于理论的预解分裂算法的最小提升定理最近证明的Malitsky和谭计划与预解参数。
2022-02-19 math.OC
Primal-Dual Error Bounds and KKT Metric Subregularity in Convex Composite Optimization
School of Mathematics and Statistics, Beijing Institute of Technology（北京理工大学数学与统计学院）；Beijing Key Laboratory on MCAACI/Key Laboratory of Mathematical Theory and Computation in Information Security, Beijing Institute of Technology（北京理工大学计算机辅助设计与图形学北京市重点实验室/信息安全数学理论与计算北京市重点实验室）
本文针对凸复合优化问题，引入约化原始-对偶KKT映射，建立了其度量次正则性与原始、对偶局部误差界的等价关系，并统一应用于多类模型。
2026-10-07 math.OC
Primal-dual splitting algorithm for solving inclusions with mixtures of composite, Lipschitzian, and parallel-sum monotone operators
我们提出了一个原始-对偶分裂算法求解单调包含涉及的混合和，线性组合，并平行和集值和Lipschitz算子。该算法的一个重要特征是，在制定中存在的Lipschitzian算子可以通过显式步骤单独处理，而集值算子通过其预解式单独处理。此外，该算法是高度并行的，因为它的大多数步骤可以同时执行。这项工作汇集并显着扩展了各种类型的结构化单调包含问题及其解决方法。特别注意凸极小化问题的应用。
2011-08-07 math.OC
A stochastic coordinate descent inertial primal-dual algorithm for large-scale composite optimization
考虑一种惯性原始对偶法，用于计算两个凸函数之和与另一个凸函数与一个连续线性算子的复合的极小化。利用坐标下降的思想，设计了一种随机坐标下降惯性原对偶分裂算法。此外，为了证明所提出的惯性算法的收敛性，我们首先构造了随机Krasnosel'skiii-Mann迭代算法的惯性版本，用于逼近非扩张算子的不动点集，并研究了它的收敛性。然后将随机Krasnosel'skiii-Mann迭代的惯性形式应用于邻近算子的合成，得到了随机坐标下降惯性原对偶分裂算法的收敛性.
2016-04-17 math.OC
A stochastic coordinate descent splitting primal-dual fixed point algorithm and applications to large-scale composite optimization
受Chen，Huang和Zhang最近的结果的启发，从基于邻近算子的不动点算法的角度考虑了求两个凸函数之和的极小值以及另一个凸函数与连续线性算子的复合的极小值问题.利用坐标下降的思想，设计了一种随机坐标下降分裂原始-对偶不动点算法.基于随机Krasnosel'skii mann迭代和邻近算子的强非扩张性质，我们证明了算法的收敛性。
2016-04-14 math.OC
Preconditioned Primal-Dual Gradient Methods for Nonconvex Composite and Finite-Sum Optimization
本文基于共轭对偶提出无需非凸邻近映射的预处理原始-对偶梯度算法，并结合方差减小估计量处理非凸复合与有限和优化，证明了 KL 条件下的全局收敛性与收敛速率。
2023-09-26 math.OC
Proximity for Sums of Composite Functions
提出了一种计算希尔伯特空间中复合凸函数和的邻近算子的算法，并研究了其渐近性质。应用程序的最佳逼近和图像恢复。
2010-07-20 math.OC
A Primal-Dual Parallel Method with $O(1/ε)$ Convergence for Constrained Composite Convex Programs
本文研究了大规模约束凸规划（可能是复合的和不可分的），由于Hessians和矩阵求逆的非光滑性或过高的计算和存储复杂性，通常难以用内点法或其他Newton型方法求解。相反，它们通常通过基于一阶梯度的方法或基于分解的方法来求解。传统的原始-对偶次梯度法，也称为Arrow-Hurwicz-Uzawa次梯度法，是一种具有$O(1/ε^2)$收敛时间的低复杂度算法。最近，Yu和Neely（2017）提出了一种新的拉格朗日对偶算法，具有更快的$O(1/ε)$收敛时间。然而，如果目标或约束函数不可分离，Yu和Neely（2017）中拉格朗日对偶方法的每次迭代都需要求解无约束凸规划，这可能具有巨大的复杂性。对一般约束凸规划提出了一个新的具有$O(1/ε)$收敛性的原-对偶算法。新算法的每一步迭代都可以并行实现，即使原问题是复合的和不可分离的。
2017-07-30 math.OC
A semi-proximal augmented Lagrangian based decomposition method for primal block angular convex composite quadratic conic programming problems
针对具有原始块角结构的凸复合二次锥规划问题，提出了一种基于半邻近增广拉格朗日分解的求解方法。使用我们的算法框架，我们能够自然地得到几个众所周知的增广拉格朗日分解方法的随机规划，如对角二次近似法的Mulvey和Ruszczyovski。此外，我们能够得到新的增强和推广这些众所周知的方法。我们还提出了一个半近似对称的高斯-赛德尔为基础的交替方向法的乘数解决相应的对偶问题。数值结果表明，我们的算法可以很好地执行，即使是非常大的情况下，原始块角凸QP问题。例如，一个具有多个$300,000$线性约束和$12,500,000$非负变量的实例在小于一分钟内求解，而Guesthouse花费了3个多小时，另一个具有多个$331,000$线性约束和$986,000$非负变量的实例{ \tt qp-gridgen 1}在大约5分钟内求解，而Guesthouse花费了35分钟以上。
2018-12-12 math.OC
An inertial primal-dual fixed point algorithm for composite optimization problems
我们考虑惯性原始-对偶不动点算法（IPDFP）来计算以下问题（1.1）的最小化。这是一个完整的分裂方法，在这个意义上，非光滑函数通过其邻近算子单独处理。IPDFP的收敛性是通过将问题（1.1）转化为三个凸函数的和来获得的。这项工作汇集并显着扩展了几个经典的分裂方案，如Chambolle和Pock提出的原始对偶方法，以及Charles A.等设计的L1/TV图像去噪模型。该迭代算法用于求解图像处理中的不可微凸优化问题。实验结果表明，所提出的IPDFP迭代算法表现良好，相对于国家的最先进的方法。
2016-04-17 math.OC
SSNCVX: A primal-dual semismooth Newton method for convex composite optimization problem
本文提出统一的半光滑牛顿法框架 SSNCVX 求解凸复合优化问题，通过增广拉格朗日对偶重构为鞍点问题，以单循环结构同时更新原始和对偶变量，在基准数据集上展现出优于现有求解器的鲁棒性与效率。
2025-09-15 math.OC
A Smooth Primal-Dual Optimization Framework for Nonsmooth Composite Convex Minimization
我们提出了一个新的一阶原始-对偶优化框架的凸优化模板具有广泛的应用。我们的优化算法具有最优收敛保证下的各种常见的结构假设的问题模板。我们的分析依赖于一个新的组合的三个经典的想法适用于原始对偶间隙函数：平滑，加速，同伦。由于新的方法的算法实现了最佳的已知的收敛速度的结果，特别是当模板只包括非光滑函数。我们还概述了一个重启策略的加速显着提高实际性能。我们展示了增广拉格朗日方法的关系，并展示了如何利用强凸目标与严格的收敛速度保证。我们提供了两个例子的数值证据，并说明新的方法可以优于国家的最先进的，包括Chambolle-Pock，和交替方向法的乘法器算法。
2018-02-22 math.OC
Primal-dual splitting for structured composite monotone inclusions with or without cocoercivity
RMIT University（皇家墨尔本理工大学）；University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；The University of Melbourne（墨尔本大学）
本文提出了一种对偶分裂算法，用于解决包含有限个多值算子、多值算子与有界线性算子的组合以及可能无co-coercivity的单值算子的广泛结构复合单调包含问题。该算法不仅统一了几种当前算法，还为通过图结构生成新算法提供了蓝图。
2026-05-13 math.OC
A Stochastic Variance Reduction Algorithm with Bregman Distances for Structured Composite Problems
本文提出了一种新的带Bregman距离的随机原始对偶分裂方法，用于求解非欧几里得空间中包含下确值卷积的结构复合问题.在一般情况下，在较弱的步长条件下，证明了原对偶间隙的期望次线性收敛性。在Bregman函数的强凸性等附加条件下，得到了算法的线性收敛速率.
2021-03-16 math.OC
On the Stationary Duality of Structural Composite Cardinality Optimization
The Hong Kong Polytechnic University（香港理工大学）；Beijing Jiaotong University（北京交通大学）
本文研究了结构性复合基数优化问题，通过平稳对偶性将复合计数转化为简单计数，推导了双问题的对偶形式，并验证了双问题全局解的存在条件及局部解的等价性。
2026-05-09 math.OC
An Augmented Lagrangian Primal-Dual Semismooth Newton Method for Multi-Block Composite Optimization
本文针对带线性约束的多块凸复合优化问题，提出基于可微增广拉格朗日函数的ALPDSN半光滑牛顿法，证明其全局收敛与超线性收敛速率，数值实验验证了方法的高效性与鲁棒性。
2024-05-16 math.OC
A New Homotopy Proximal Variable-Metric Framework for Composite Convex Minimization
本文提出了两种新的思想，发展了求解一类复合凸优化问题的新的近似变度量法。第一个想法是一个新的参数化的最优性条件，使我们能够开发一类同伦近变度量法。我们表明，在适当的假设，如强凸型和光滑性，或自和谐，我们的新计划可以实现有限的全球迭代复杂性的界限。我们的第二个想法是一个原始-对偶-原始框架的近似牛顿方法，可以导致一些有用的计算功能的一个子类的非光滑复合凸优化问题。从原问题出发，构造了原问题的对偶问题，并利用同伦近似牛顿法求解该对偶问题。与其直接在对偶空间中求解子问题，我们建议将这个子问题对偶化，回到原始空间。由此产生的子问题共享一些相似性，促进了原问题的正则化，并导致一些计算上的优势。作为一个副产品，我们专门提出的算法来解决协方差估计问题。令人惊讶的是，我们的新算法不需要任何矩阵求逆或Cholesky分解，和函数评估，而它的作品在原始空间的稀疏结构，促进了正则化。几个应用的数值例子来说明我们的理论发展，并与国家的艺术比较。
2018-12-13 math.OC
Accelerated Dual-Averaging Primal-Dual Method for Composite Convex Minimization
WeBank AI Group（微众银行AI集团）；Tencent Inc.（腾讯公司）；University of California, Davis（加州大学戴维斯分校）；The Hong Kong University of Science and Technology（香港科技大学）
双平均型方法由于其促进解结构（例如，稀疏性）有效地。本文提出了一种新的求解复合凸函数最小化问题的加速双平均原始对偶法。我们还得到了一个随机版本的方法，解决了经验风险最小化，其优势在处理稀疏数据的理论和经验证明。
2020-01-15 cs.LG math.OC stat.ML
A new splitting method for solving composite monotone inclusions involving parallel-sum operators
本文提出了一种新的原始-对偶分裂方法来求解包含Lipschitz算子和平行和型单调算子的复合包含问题。我们的方法扩展了\cite{Siopt4}中的框架，以一种非平凡的方式更一般的一类单调包含。其主要思想是用相关的Kuhn-Tucker集表示原始问题和对偶问题的解集，然后开发一种投影方法来连续逼近Kuhn-Tucker集的可行点。我们提出了一个分裂算法的基础上每个最大单调算子的预解式，以构建一个原始对偶序列，弱收敛到原问题的解决方案。该方法的主要特点是只分别使用每个单调算子的预解式，这与文献中已有的方法不同。作为一个副产品，我们的算法可以专门解决复合凸最小化问题，独立使用每个目标组件的近似算子，并配备了弱收敛保证。
2015-07-25 math.OC
Primal-dual proximal bundle and conditional gradient methods for convex problems
本文提出原始-对偶近端束方法求解凸非光滑复合优化与鞍点问题，建立迭代复杂度，发现与条件梯度的对偶性，并验证其优于次梯度方法。
2025-09-25 math.OC
Hamiltonian descent for composite objectives
在最优化中，原始问题和对偶问题之间的对偶差距是任何原始-对偶点的次优性的度量。在经典力学中，系统的运动方程可以从描述系统总能量的哈密顿函数导出。在本文中，我们考虑一个凸优化问题的总和的两个凸函数，有时被称为一个复合目标，我们确定的对偶差距是“能量”的系统。在哈密顿形式主义中，能量是守恒的，因此我们在标准运动方程中添加了一个压缩项，使得该能量线性减小（即，几何学上）与时间。这产生了原始变量和对偶变量中的连续时间常微分方程（ODE），其收敛到零对偶间隙，即，最优性这个常微分方程有几个有用的性质：它诱导了一个自然的算子分裂;在收敛时，它产生原始和对偶解;尽管只使用一阶信息，但它对仿射变换是不变的。我们提供了几个离散化这个常微分方程，其中一些是新的算法和其他对应于已知的技术，如交替方向法的乘法器（ADMM）。最后，我们用一些数值例子表明我们的方法的承诺。我们给出了一个例子，我们的技术可以解决凸二次最小化问题的数量级快于几个常用的梯度法，包括共轭梯度，当条件的问题是穷人。我们的框架提供了新的见解，以前已知的算法在文献中，以及提供一种技术来生成新的原始对偶法。
2019-11-17 math.OC
A Multi-Agent Primal-Dual Strategy for Composite Optimization over Distributed Features
Kuwait University（科威特大学）；Michigan State University（密歇根州立大学）；Ecole Polytechnique Federale de Lausanne（洛桑联邦理工学院）
本文研究了多智能体共享最优化问题，其目标函数是光滑局部函数加上一个耦合所有智能体的凸（可能是非光滑）函数的和。这种情况出现在许多机器学习和工程应用中，例如分布式特征和资源分配的回归。我们将这个问题转化为一个等价的鞍点问题，这个问题可以用分散的方法解决。然后，我们提出了一个近似的原始对偶法，并建立了它的线性收敛的最优解的局部函数是强凸的。据我们所知，这是第一个线性收敛的分散算法的多智能体共享问题的一般凸（可能是非光滑的）耦合函数。
2020-06-15 cs.LG math.OC
A Douglas-Rachford type primal-dual method for solving inclusions with mixtures of composite and parallel-sum type monotone operators
Chemnitz University of Technology（德累斯顿工业大学）
本文提出两种原始-对偶分裂算法，基于不精确Douglas-Rachford分裂方法，分别在不同希尔伯特空间中求解涉及复合与并行和型单调算子混合的包含问题，允许在每次迭代中分别处理有界线性算子和集值算子，并通过数值实验验证其在定位和图像去模糊问题中的性能。
2012-12-03 cs.NA math.FA math.NA
A primal-dual splitting algorithm with convex combination and larger step sizes for composite monotone inclusion problems
针对复合单调包含问题中改进型原始-对偶分裂算法适配性存疑的问题，提出同时含外插步和凸组合步的新算法，放宽步长条件并证明收敛性，多类数值实验验证其效率更优。
2025-10-01 math.OC
RandProx: Primal-Dual Optimization Algorithms with Randomized Proximal Updates
邻近分裂算法非常适合于解决大规模非光滑最优化问题，特别是机器学习中出现的问题。我们提出了一种新的原始对偶法，其中对偶更新是随机的，等价地，在问题中的函数之一的邻近算子被替换为随机预言。例如，在每次迭代中更新一些随机选择的对偶变量，而不是全部。或者，函数的邻近运算符仅以较小的概率被调用。一个非光滑的方差减少技术的实施，使算法找到一个确切的极小化的一般问题，涉及光滑和非光滑的功能，可能与线性算子组成。我们推导出线性收敛结果存在强凸性，这些结果是新的，即使在确定性的情况下，当我们的算法恢复到最近提出的原始-对偶戴维斯-尹算法。文献中的一些随机算法也被恢复为特定情况（例如，Point-SAGA）。但我们的随机化技术是通用的，包括许多超越采样和概率更新的无偏机制，包括压缩。由于收敛速度取决于原始和对偶收缩机制中最慢的一个，因此当使用随机性时，迭代复杂度可能保持不变。另一方面，可以显著降低计算复杂度。总的来说，随机性有助于获得更快的算法。这在随机梯度型算法中早已为人所知，我们的工作表明，这也完全适用于更一般的原始对偶设置。
2023-03-07 math.OC
Inertial primal-dual methods for linear equality constrained convex optimization problems
本文提出了一种求解线性等式约束凸优化问题的惯性加速原-对偶方法。当目标函数具有“非光滑+光滑”的复合结构时，通过对光滑个体函数进行线性化，并不精确地求解子问题，提出了一种不精确惯性原对偶方法.仅假设凸性，我们证明了所提出的方法享有$\mathcal{O}(1/k^2)$收敛速度的目标残差和可行性违反的原始模型。数值结果表明所提出的方法的有效性。
2021-06-29 math.OC
Stochastic inertial primal-dual algorithms
提出并研究了一种新的求解复合最优化问题的随机惯性原-对偶方法。当使用惩罚正则化方案学习时，后面这些问题自然会出现。我们的分析提供了收敛的结果，在一般的设置，允许在一个统一的框架中分析各种特殊情况下的利益。在我们的分析的关键是考虑框架的分裂算法解决一个单调包含在合适的积空间和一个特定的选择的预处理算子。
2015-07-03 math.OC
A projected primal-dual splitting for solving constrained monotone inclusions
本文给出了求解约束复合原始-对偶单调包含的一个算法，单调包含中原始-对偶解的先验信息通过闭凸集表示。所提出的算法将投影步骤合并到先验信息集上，并推广了[Vendor，B.C.：含余强制算子的对偶单调包含的分裂算法。高级计算38，667-681（2013）]。此外，在强单调性的存在下，我们得到了一个加速格式[Chambolle，A.; Pock，T.：凸问题的一阶原始对偶法及其在成像中的应用。J. Math. Imaging Vis. 40，120-145（2011）]应用于约束单调包含的更一般的上下文。在凸优化的特定情况下，我们的算法推广了[Condat，L.：含Lipschitz项、可逼近项和线性复合项的凸优化的原始-对偶分裂方法。J. Optim. Theory Appl.158，460 -479（2013）]，并且我们提供了强凸性下的加速方案。我们的方法与先验信息的应用是约束凸优化问题，其中可用的原始-对偶方法通过拉格朗日乘子更新施加约束，通常导致不可行的原始迭代的缓慢算法。所提出的修改迫使原始迭代，以满足选择的约束，我们可以投影，获得一个更快的方法作为数值例子展示。所得结果推广和改进了文献中的几个结果.
2018-05-29 math.OC
A Stochastic Bregman Primal-Dual Splitting Algorithm for Composite Optimization
研究了求解实自反巴拿赫空间上凸凹鞍点问题的随机一阶原始-对偶方法，该方法利用Bregman发散和相对光滑性假设，在算法中考虑了梯度项计算的随机误差.证明了在较弱的假设下，遍历序列的每一个几乎必然弱簇点都是期望中的一个鞍点，且收敛速度为O（1/k）.在稍微严格的假设下，我们证明了逐点迭代几乎必然弱收敛到一个鞍点。在对目标函数作较强的凸性假设和对Bregman发散熵作全凸性假设的条件下，我们建立了逐点迭代几乎必然强收敛于一个鞍点的定理.我们的框架是通用的，并不需要强凸性的熵诱导Bregman分歧的算法。数值应用被认为包括熵正则化Wasserstein重心问题和正则化反问题的单纯形。
2021-12-22 math.OC stat.ML
Stochastic forward-backward and primal-dual approximation algorithms with application to online image restoration
随机逼近技术已经在数据科学的各种背景下使用。我们提出了一个随机版本的向前向后算法，用于最小化两个凸函数之和，其中之一不一定是光滑的。我们的框架可以处理光滑函数的梯度的随机逼近，并允许在非光滑函数的邻近算子的评价中的随机误差。在相对较弱的假设下，证明了该算法产生的迭代点几乎必然收敛到极小点。我们还提出了一个流行的原始-对偶邻近分裂算法的随机版本，建立其收敛性，并将其应用于在线图像恢复问题。
2016-02-25 math.OC
A Universal Primal-Dual Convex Optimization Framework
我们提出了一个新的原始-对偶算法框架的原型约束凸优化模板。我们的框架的算法实例是通用的，因为它们可以自动适应未知的霍尔德连续度和常数的对偶公式。他们也保证有最佳的收敛速度的目标残差和可行性差距为每个霍尔德平滑度。与现有的原始对偶法相比，我们的框架避免了目标函数的邻近算子。相反，我们利用计算成本更低的Fenchel型算子，这是广义条件梯度（GCG）型方法的主要工具。与GCG类方法相比，该框架不要求目标函数是可微的，并且可以处理额外的一般线性包含约束，同时保证了原问题的收敛速度
2015-11-06 math.OC
Solving Coupled Composite Monotone Inclusions by Successive Fejér Approximations of Their Kuhn-Tucker Set
提出了一类新的求解复合单调包含组的原始-对偶Fejer单调算法。我们的建设是由Eckstein和Svaiter的基本问题，找到一个零的两个单调算子的总和框架的启发。在每次迭代中，使用模型中存在的单调算子的图中的点来构造包含与系统相关联的Kuhn-Tucker集的半空间。原始-对偶更新则通过将当前矩阵松弛投影到这个半空间上来获得。一个重要的特点，区别于现有的分裂算法是，他们不需要先验知识的界限上的线性算子或反转的线性算子。
2014-10-04 math.OC
A Class of Randomized Primal-Dual Algorithms for Distributed Optimization
基于[Combettes，Pesquet，2014]中最近提出的随机块坐标向前-向后算法的预处理版本，设计了块坐标原始对偶法的几个变体，以解决各种单调包含问题。这些方法依赖于扫描块的变量，这些变量在每次迭代时根据随机规则被激活，并且它们允许在所涉及的操作符的评估中出现随机误差。然后，利用该框架推导出求解复合凸变分问题的块坐标原-对偶近似算法。所得到的算法实现可以用于降低计算复杂性和存储器需求。此外，我们表明，所提出的方法可用于开发新的异步分布式原始对偶法在多代理的上下文中。
2014-10-25 math.OC
Split-Douglas-Rachford algorithm for composite monotone inclusions and Split-ADMM
在本文中，我们提供了一个推广的道格拉斯-Rachford分裂（DRS）和原始对偶法（Vu 2013，Condat 2013）解决单调包含在一个真正的希尔伯特空间涉及一般的线性算子。所提出的方法允许原始和对偶非标准度量和激活的线性算子分别从单调算子中出现的包含。在最简单的情况下，当线性算子具有全值域时，它可退化为经典DRS，并且保证了原始对偶序列弱收敛于Kuhn-Tucker点，推广了Svaiter（2011）的主要结果.受Gabay（1983）的启发，我们还将我们的方法应用于包含线性算子的凸优化问题的对偶问题，得到了一个新的分裂ADMM（SADMM），该问题可以表示为两个线性算子的合成。建议SADMM激活一个线性算子隐式和另一个显式，我们恢复ADMM时，后者被设置为身份。我们的理论结果与文献的连接和比较提供的主要算法和SADMM。通过对全变差图像恢复和稀疏最小化问题的数值模拟，说明了这两种方法的灵活性和有效性。
2021-09-21 math.OC
Primal-Dual Strategy (PDS) for Composite Optimization Over Directed graphs
针对有向图下多智能体共享的复合优化问题，提出带自适应时变系数权重的原始-对偶算法，推导新步长上界并证明线性收敛，仿真验证其优于现有算法。
2024-06-20 eess.SP math.OC
A Composite Representation Theorem for Solution Mappings in Regularized Composite Optimization with Applications to Hausdorff Lipschitz Stability
本文针对正则化复合优化的解映射建立复合表示定理，推导其局部Hausdorff Lipschitz连续性的充分条件，覆盖ℓ₁型等正则化子，数值例子验证了完整解集的恢复。
2026-10-14 math.OC
A forward-backward view of some primal-dual optimization methods in image recovery
大量的图像恢复问题可以抽象为在希尔伯特空间中最小化复合凸函数之和的问题。为了解决这样的问题，原始-对偶邻近方法已经被开发，其为大规模最优化问题提供有效解。本文的目的是表明一些现有的算法可以从一个一般形式的向前向后算法应用在一个适当的积空间。我们的方法还允许我们通过引入可变度量来开发现有算法的有用扩展。最后给出了图像复原的实例。
2014-06-20 math.OC
A projection-free dynamics for nonsmooth composite optimization
本文提出一种基于镜像下降的无投影原始-对偶动力学，用于求解带等式和不等式约束的非光滑复合优化问题，通过扩展近端增广拉格朗日策略实现指数收敛，并推广了现有收敛结果。
2025-10-25 math.OC
A Primal-Dual Smoothing Framework for Max-Structured Non-Convex Optimization
针对具有最大结构的非光滑非凸优化问题，提出原始-对偶平滑框架，分析两类平滑途径的梯度复杂度并改进现有最优预言机复杂度。
2023-07-17 math.OC
A randomized intertial primal-dual fixed point algorithm for monotone inclusions
本文基于Nesterov的重球方法的改进，提出了一种求解一类单调包含问题的随机块坐标原始对偶不动点算法.这些方法依赖于在每次迭代时根据随机规则激活的变量块的扫描。为此，我们制定的惯性版本的Krasnosel'skiii-Mann算法近似的一个拟非扩张算子的不动点的集合，为此，我们还提供了一个详尽的收敛性分析。作为一个副产品，我们可以得到一些解决复合单调包含和凸极小化问题的块-坐标算子分裂方法。
2016-11-16 math.OC
Primal-Dual Method for Searching Equilibrium in Hierarchical Congestion Population Games
在本文中，我们考虑了一个大类的分层拥挤人口对策。可以证明，这种类型的博弈中的均衡可以描述为适当构造的多级凸优化问题中的极小点。我们提出了一个快速的原始-对偶复合梯度法，并将其应用于问题，这是对偶的问题描述的均衡在考虑类游戏。我们证明，这种方法可以找到一个近似解的初始问题，而不增加的复杂性。
2016-08-25 math.OC
Federated Composite Optimization
Stanford University（斯坦福大学）；Google Research（谷歌研究院）
联邦学习（FL）是一种分布式学习范式，可协作和私下扩展设备上的学习。标准FL算法（如FedAvg）主要面向平滑无约束设置。研究了损失函数中含有非光滑正则化子的联邦复合优化问题。这样的问题自然出现在FL应用程序，涉及稀疏性，低秩，单调性，或更一般的约束。我们首先表明，直接扩展的原始算法，如FedAvg不适合FCO，因为他们遭受的“诅咒原始平均”，导致收敛性差。作为一种解决方案，我们提出了一种新的原始-对偶算法，联邦双平均（FedDualAvg），它通过采用一种新的服务器双平均过程规避原始平均的诅咒。我们的理论分析和实证实验表明，FedDualAvg优于其他基线。
2021-06-05 cs.DC cs.LG math.OC
Augmented Lagrangian methods for fully convex composite optimization
University of the Bundeswehr Munich（联邦国防大学慕尼黑）；McGill University（麦吉尔大学）；Dresden University of Technology（德累斯顿工业大学）
针对全凸复合优化问题，提出弹性保护增广拉格朗日方法，结合经典方法与保护机制的优点，实现全局原始-对偶收敛。
2026-10-07 math.OC
A primal-dual fixed-point algorithm for minimization of the sum of three convex separable functions
图像处理和信号恢复中的许多问题都可以归结为三个凸可分函数之和的最小化问题。通常，目标函数包括具有Lipschitz连续梯度的光滑函数、线性复合非光滑函数和非光滑函数。在本文中，我们提出了一个原始-对偶不动点（PDFP）计划来解决上述问题。当非光滑函数可以通过其邻近算子（如$\ell_1$型正则化）求解时，该算法是一种完全分裂的对称格式，只涉及显式梯度算子和线性算子，不需要内迭代.我们研究了该算法的收敛性，并通过融合LASSO和图像恢复与非负约束和稀疏正则化的例子来说明它的效率。
2015-12-31 math.OC
Forward Primal-Dual Half-Forward Algorithm for Splitting Four Operators
提出一种分裂四个极大单调算子的前向原始-对偶半前向算法，推广了 Condat-Vũ 和 FBHF 算法，恢复了弱收敛步长，并应用于多元单调包含、鞍点问题及图像去模糊。
2024-09-25 math.OC
Perturbed Proximal Gradient ADMM for Nonconvex Composite Optimization
PPG-ADMM通过引入扰动机制解决非凸复合优化问题，实现子线性收敛并提供更强的最优性保证。
2026-01-05 math.OC
New complexity bounds for primal--dual interior-point algorithms in conic optimization
Cardinal Operations, Ltd.（卡迪纳尔操作有限公司）；University of Waterloo（滑铁卢大学）；UCLA（加州大学洛杉矶分校）
针对锥优化中的对称原始-对偶内点算法，通过原始和对偶点对的关键复杂度度量新一致界，得到改进的复杂度结果，包括自协调障碍函数情形下的紧界和迭代复杂度。
2026-06-16 math.OC
Local Convergence Analysis of ADMM for Nonconvex Composite Optimization
Sun Yat-sen University（中山大学）
本文研究了ADMM在现代成像和机器学习模型中出现的一类非凸复合问题的局部收敛性，通过分析Moreau包络的局部强凸性，推导了ADMM迭代的下降不等式，并建立了ADMM方案的局部收敛性及线性收敛率。
2026-07-30 math.OC
A primal-dual method for conic constrained distributed optimization problems
我们认为合作的多智能体共识最优化问题在一个无向网络的代理，只有那些代理连接的边缘可以直接沟通。目标是最小化代理特定的复合凸函数的总和在代理特定的私人圆锥约束集，因此，最佳的共识决策应该在于这些私人集的交集。我们提供的收敛速度都在次优，不可行性和共识违反;检查底层网络拓扑结构的影响，建议分散算法的收敛速度;并展示如何扩展这些方法来处理时变通信网络和解决问题的资源共享的限制。
2016-07-08 math.OC
Composite Lyapunov Criteria for Stability and Convergence with Applications to Optimization Dynamics
提出复合Lyapunov框架，通过微分不等式对实现非线性系统的严格衰减与收敛，统一收敛到点和集合，应用于惯性梯度与原始-对偶梯度流。
2025-10-09 math.OC
A general framework for solving convex optimization problems involving the sum of three convex functions
本文考虑求解一类凸优化问题，该问题使三个凸函数$f(x)+g(x)+h(Bx)$之和最小化，其中$f(x)$是Lipschitz连续梯度可微的，$g(x)$和$h(x)$具有其邻近算子的封闭表达式，$B$是有界线性算子.这类优化问题在信号恢复和图像处理中有着广泛的应用。为了充分利用可微函数在优化问题中的作用，我们采用了两种算子分裂方法：向前向后分裂法和三算子分裂法。在这两种算子分裂方法的迭代格式中，我们需要分别计算$g+h \circ B$和$h \circ B$的邻近算子。虽然这些邻近算子一般没有封闭形式的解，但它们可以非常有效地求解。我们主要采用两种不同的方法来解决这些邻近算子：一种是对偶的，另一种是原始对偶的。按照这种方法，我们幸运地发现三个现有的迭代算法，包括Condat和Vu算法，原始-对偶不动点（PDFP）算法和原始-对偶三算子（PD 3 O）算法是我们提出的迭代算法的一个特例。此外，我们发现了一种新的迭代算法来解决所考虑的优化问题，这是不包括现有的。在较弱的条件下，证明了所提出的迭代算法的收敛性。在融合Lasso问题、CT图像重建中的约束全变分正则化问题和低秩全变分图像超分辨率问题上的数值实验验证了所提迭代算法的有效性和高效性。
2019-04-27 math.OC
Local Convergence Analysis of Augmented Lagrangian Methods for Piecewise Linear-Quadratic Composite Optimization Problems
局部最优性的二阶充分条件在优化算法的局部收敛分析中起着重要的作用。在本文中，我们证明了这一条件足以证明的原始-对偶序列的线性收敛，产生的增广拉格朗日方法分段线性二次复合最优化问题，即使在这类问题的拉格朗日乘子是不唯一的。进一步，我们建立了这类复合最优化问题增广拉格朗日问题的二阶充分条件与二次增长条件之间的等价性.
2021-05-02 math.OC
Accelerated primal dual fixed point algorithm
本文提出加速原始对偶不动点（APDFP）方法，采用Nesterov加速求解含非光滑项与线性算子的复合优化问题，将部分原始对偶间隙的收敛速度提升至O(1/k^2)，并通过图引导逻辑回归与CT图像重建实验验证了其高效性。
2025-11-01 math.OC
