Comparison of Proximal First-Order Primal and Primal-Dual algorithms via Performance Estimation
针对信号/图像处理任务中算法选择难题，基于性能估计框架自动计算最坏情况性能，比较并加强多种一阶原始及原始-对偶算法的收敛结果。
2024-03-15 math.OC
Primal-dual proximal splitting and generalized conjugation in non-smooth non-convex optimization
我们证明了困难的非凸非光滑最优化问题，如纳什均衡问题和各向异性以及各向同性Potts分割模型，可以写在广义共轭的凸泛函。这些，反过来，可以制定为鞍点问题，涉及凸非光滑泛函和一般光滑，但非双线性耦合项。然后，我们表明，通过详细的收敛性分析，概念上简单的扩展的原始-对偶邻近Chambolle和Pock分裂方法是适用于解决这些问题。在充分的局部强凸性假设的泛函-但仍然与非双线性耦合项-我们甚至证明了局部线性收敛的方法。我们说明这些理论结果数值上的上述示例问题。
2020-03-19 math.OC
Fast dual proximal gradient algorithms with rate $O(1/k^{1.5})$ for convex minimization
考虑由一个强凸函数和一个强凸函数组成的复合函数的极小化问题。快速双近端梯度（FDPG）方法以速率$O(1/k^2)$减小对偶函数，从而产生用于减小原始函数的速率$O(1/k)$。我们提出了一个广义FDPG方法，保证了$O(1/k^{1.5})$率的双近端梯度范数下降。通过将其与原始函数减少相关联，所提出的方法以改进的$O(1/k^{1.5})$速率减少原始函数。
2016-09-29 math.OC
A semi-proximal augmented Lagrangian based decomposition method for primal block angular convex composite quadratic conic programming problems
针对具有原始块角结构的凸复合二次锥规划问题，提出了一种基于半邻近增广拉格朗日分解的求解方法。使用我们的算法框架，我们能够自然地得到几个众所周知的增广拉格朗日分解方法的随机规划，如对角二次近似法的Mulvey和Ruszczyovski。此外，我们能够得到新的增强和推广这些众所周知的方法。我们还提出了一个半近似对称的高斯-赛德尔为基础的交替方向法的乘数解决相应的对偶问题。数值结果表明，我们的算法可以很好地执行，即使是非常大的情况下，原始块角凸QP问题。例如，一个具有多个$300,000$线性约束和$12,500,000$非负变量的实例在小于一分钟内求解，而Guesthouse花费了3个多小时，另一个具有多个$331,000$线性约束和$986,000$非负变量的实例{ \tt qp-gridgen 1}在大约5分钟内求解，而Guesthouse花费了35分钟以上。
2018-12-12 math.OC
A Smooth Double Proximal Primal-Dual Algorithm for a Class of Distributed Nonsmooth Optimization Problem
本文研究了一类分布式非光滑凸一致最优化问题。成本函数是局部费用函数的和，这些成本函数是凸的但非光滑的。每个局部费用函数由一个二次可微凸函数和两个下半连续凸函数组成。我们称这个问题为单光滑加双非光滑（SSDN）问题。在较弱的条件下，提出了一种分布式双邻近原-对偶优化算法。双邻近算子的设计是为了解决这两个非光滑函数之和的不可逼近性所带来的困难。此外，它还可以保证所提出的算法是局部Lipschitz连续的。在双邻近算子中引入一个辅助变量来估计第二类非光滑函数的次梯度。理论上，我们利用李雅普诺夫稳定性理论进行收敛性分析。结果表明，该算法能使状态在最优点达到一致.最后给出了非平凡的仿真结果，验证了该算法的有效性。
2018-08-16 math.OC
A New Homotopy Proximal Variable-Metric Framework for Composite Convex Minimization
本文提出了两种新的思想，发展了求解一类复合凸优化问题的新的近似变度量法。第一个想法是一个新的参数化的最优性条件，使我们能够开发一类同伦近变度量法。我们表明，在适当的假设，如强凸型和光滑性，或自和谐，我们的新计划可以实现有限的全球迭代复杂性的界限。我们的第二个想法是一个原始-对偶-原始框架的近似牛顿方法，可以导致一些有用的计算功能的一个子类的非光滑复合凸优化问题。从原问题出发，构造了原问题的对偶问题，并利用同伦近似牛顿法求解该对偶问题。与其直接在对偶空间中求解子问题，我们建议将这个子问题对偶化，回到原始空间。由此产生的子问题共享一些相似性，促进了原问题的正则化，并导致一些计算上的优势。作为一个副产品，我们专门提出的算法来解决协方差估计问题。令人惊讶的是，我们的新算法不需要任何矩阵求逆或Cholesky分解，和函数评估，而它的作品在原始空间的稀疏结构，促进了正则化。几个应用的数值例子来说明我们的理论发展，并与国家的艺术比较。
2018-12-13 math.OC
RandProx: Primal-Dual Optimization Algorithms with Randomized Proximal Updates
邻近分裂算法非常适合于解决大规模非光滑最优化问题，特别是机器学习中出现的问题。我们提出了一种新的原始对偶法，其中对偶更新是随机的，等价地，在问题中的函数之一的邻近算子被替换为随机预言。例如，在每次迭代中更新一些随机选择的对偶变量，而不是全部。或者，函数的邻近运算符仅以较小的概率被调用。一个非光滑的方差减少技术的实施，使算法找到一个确切的极小化的一般问题，涉及光滑和非光滑的功能，可能与线性算子组成。我们推导出线性收敛结果存在强凸性，这些结果是新的，即使在确定性的情况下，当我们的算法恢复到最近提出的原始-对偶戴维斯-尹算法。文献中的一些随机算法也被恢复为特定情况（例如，Point-SAGA）。但我们的随机化技术是通用的，包括许多超越采样和概率更新的无偏机制，包括压缩。由于收敛速度取决于原始和对偶收缩机制中最慢的一个，因此当使用随机性时，迭代复杂度可能保持不变。另一方面，可以显著降低计算复杂度。总的来说，随机性有助于获得更快的算法。这在随机梯度型算法中早已为人所知，我们的工作表明，这也完全适用于更一般的原始对偶设置。
2023-03-07 math.OC
New Primal-Dual Proximal Algorithm for Distributed Optimization
我们考虑一个网络的代理人，每个都有自己的私人成本组成的两个可能的非光滑的凸函数，其中之一是由一个线性算子的总和。在每次迭代中，每个代理执行本地计算，并且只能与其邻居通信。目标是最小化私有费用函数的总和，并在图上达成共识。我们提出了一个原始对偶法的基础上\emph{Asymmetric Forward-Backward-Adjoint}（AFBA），一个新的运营商分裂技术最近推出的两位作者。我们的算法包括Chambolle和Pock的方法作为一个特殊情况，并具有线性收敛速率时，费用函数分段线性二次。我们表明，我们的分布式算法很容易实现，而不需要执行矩阵求逆或内部循环。我们通过计算实验证明如何选择我们的算法的参数可以导致更大的步长，并产生更好的性能。
2017-03-12 math.OC
The operator splitting schemes revisited: primal-dual gap and degeneracy reduction by a unified analysis
我们重新审视了在最近的工作中提出的算子分裂方案[基于拉格朗日和原始对偶的算子分裂方案的一些扩展：统一的邻近点分析，冯雪，优化，2022，doi：10.1080/02331934.2022.2057309]，并进一步在统一的邻近点框架下分析了这些算法的广义Bregman距离和原对偶间隙的收敛性。还原到一个简单的预解的可能性也讨论了利用结构和可能的退化的基本度量。
2023-02-19 math.OC
A New Randomized Block-Coordinate Primal-Dual Proximal Algorithm for Distributed Optimization
本文提出了一种新的原始对偶法TriPD，用于极小化一个Lipschitz可微凸函数和两个可能非光滑的凸函数之和，其中一个凸函数由一个线性映射组成.我们设计了一个随机块坐标版本的算法收敛在相同的步长条件下的完整算法。它表明，无论是原来的，以及块坐标计划功能线性收敛速率时，所涉及的功能是分段线性二次，或当他们满足一定的二次增长条件（这是弱于强凸性）。此外，我们将开发的算法应用到图上的多智能体优化问题，从而获得新的同步和异步分布式方法。所提出的算法是完全分布式的意义上说，每个代理的更新和步长只依赖于本地信息。事实上，不需要事先进行全球协调。最后，我们展示了我们的算法在分布式编队控制中的应用。
2019-09-30 math.OC
Interwoven SDP in Primal-Dual Proximal Splitting Methods for Adjustable Robust Convex Optimisation with SOS-Convex Polynomial Constraints
University of New South Wales（新南威尔士大学）
本文提出了一种基于SDP的对偶近端分裂方法，用于求解具有SOS-凸多项式约束的可调整鲁棒凸优化问题，展示了其在两阶段订货模型中的有效性。
2026-02-16 math.OC
A Proximal Alternating Direction Method of Multiplier for Linearly Constrained Nonconvex Minimization
考虑多面体上非凸可微函数的极小化问题。一个流行的原始-对偶一阶方法是对增广拉格朗日函数进行梯度投影迭代，然后使用约束残差更新对偶乘子向量。然而，数值例子表明，这种方法可以表现出“振荡”，可能不会收敛。在本文中，我们提出了一个接近的交替方向法的乘法器的多块版本的这个问题。该方法的显著特征是引入了“平滑”（即，指数加权）原始迭代序列，并且在每次迭代时，将以当前平滑原始迭代为中心的二次邻近项包含到增广拉格朗日函数中。在每次迭代中，得到的近端增广拉格朗日函数被不精确地最小化（经由梯度投影步骤），而使用线性约束的残差来更新对偶乘子向量。当原始和对偶步长足够小时，我们证明了适当的“平滑”可以稳定“振荡”，并且新的近似ADMM算法的迭代在一些温和的正则性条件下收敛到一个稳定点。当目标函数为二次函数时，证明了算法的线性收敛性.我们的证明是基于一个新的势函数和一个新的使用误差界。
2020-08-04 math.OC
Projective Splitting as a Warped Proximal Algorithm
我们证明了P.L. Combettes和J. Eckstein在他们的2018年数学课程中。论文可以被看作是最近提出的翘曲邻近算法的实例。
2021-06-04 math.OC
Primal-Dual Bundle Methods for Linear Equality-Constrained Problems
针对对偶上升法和乘子法因近端线性代理函数精度低导致收敛慢的问题，本文提出一类泛化性更强的新型原始-对偶束方法，证明了其收敛性，且实验验证该方法收敛更快、参数鲁棒性更优。
2025-11-18 math.OC
A Unifying Primal-Dual Proximal Framework for Distributed Nonconvex Optimization
School of Information Science and Technology, Shanghaitech University（上海科技大学信息科学与技术学院）；Shanghai Engineering Research Center of Energy Efficient and Custon AI IC（上海市能效与定制人工智能集成电路工程研究中心）
本文提出了一种统一的对偶近似 proximal 框架，用于解决分布式非凸优化问题，并通过实验验证了其在收敛速度和通信效率上的优势。
2026-03-10 math.OC
Bregman three-operator splitting methods
本研究将广义Bregman距离引入凸优化的原始-对偶邻近分裂方法，扩展了Condat-Vu系列算法与PD3O算法，给出统一收敛分析框架及适用于等式约束问题的步长线搜索策略。
2022-10-03 math.OC
New Primal-Dual Algorithm for Convex Problems
本文提出一种基于两个新近端项的原始-对偶算法，用于凸-凹鞍点问题，实现O(1/N)收敛，强凸时加速至O(1/N^2)，并引入线搜索策略，实验验证其有效性。
2025-04-23 math.OC
Primal-dual block-proximal splitting for a class of non-convex problems
我们开发了块结构适应的原始对偶法的非凸非光滑优化问题，其目标可以写为组合物$G(x)+F(K(x))$的非光滑块可分凸函数$G$和$F$与非线性Lipschitz可可微算子。我们的方法是改进的非线性原始-对偶邻近分裂方法，这样的问题没有块结构，这本身是基于原始-对偶邻近分裂方法的Chambolle和Pock凸问题。我们提出了个人的步长参数和加速规则的原始和对偶块的问题。这使得它们能够通过适应问题的结构来更快地收敛。对于迭代到临界点的平方距离，我们在不同的条件和步长参数的选择下显示了局部$O(1/N)$，$O(1/N^2)$和线性速率。最后，我们证明了实际的逆问题的方法的性能：扩散张量成像和电阻抗断层扫描。
2020-04-22 cs.NA math.NA math.OC
Consensus Planning with Primal, Dual, and Proximal Agents
本文提出了一种允许不同类型的智能体协调的共识规划算法，结合了ADMM-like、对偶上升和线性化ADMM更新，实现了次线性及线性收敛性，并提供了实证结果。
2025-11-21 cs.MA math.OC
A continuous perspective on the inertial corrected primal-dual proximal splitting
本文从连续视角重新诠释IC-PDPS算法，将其重建为半隐式欧拉格式，导出两个等价的二阶ODE模型，并用Lyapunov函数分析拉格朗日间隙的收敛性。
2024-05-23 cs.NA math.NA math.OC
Convergence rate analysis of primal-dual splitting schemes
原始-对偶分裂格式是一类求解复杂单调包含和凸优化问题的强有力的算法。他们分解的问题，建立从总和，线性组合，和infimal卷积的简单功能，使每个简单的条款是单独处理通过邻近映射，梯度映射，乘法的线性映射。这导致易于实现和高度并行化或分布式算法，通常获得接近最先进的性能。在本文中，我们分析了一个单调包含问题，捕获一个大类的原始对偶分裂作为一个特殊情况。我们引入了一个统一的计划，并使用一些抽象的算法分析，证明收敛速度的邻近点法，向前向后分裂，Cumberman-Rachford分裂，向前向后向前分裂模型的问题。我们的遍历收敛速度推导下的可变度量，步长，和松弛。我们的非遍历收敛速度是第一次在文献中。最后，我们将我们的结果应用到一个大类的原始对偶法，我们的计划是一个特殊的情况下，推导出他们的收敛速度。
2015-07-30 math.OC
Accelerated Primal-Dual Proximal Gradient Splitting Methods for Convex-Concave Saddle-Point Problems
National Center for Applied Mathematics in Chongqing, Chongqing Normal University（重庆师范大学应用数学中心）；Chongqing Research Institute of Big Data, Peking University（北京大学重庆大数据研究院）
本文针对双线性鞍点问题，提出带自适应尺度参数与Bregman散度的加速原始-对偶邻近梯度分裂方法，结合速度校正保证稳定性，经理论证明收敛速率最优，数值结果验证了方法的实际性能。
2026-09-29 cs.NA math.NA math.OC
Decomposing Linearly Constrained Nonconvex Problems by a Proximal Primal Dual Approach: Algorithms, Convergence, and Applications
本文针对光滑非凸线性约束最优化问题，提出了一种新的分解方法--邻近原始对偶法（Prox-PDA）.所提出的方法是原始-对偶的基础上，其中的原始步骤最小化某些近似的增广拉格朗日的问题，和对偶步骤进行近似的对偶上升。在初始步骤中使用的近似能够分解变量块，使得可以通过利用问题结构来获得简单的子问题。理论上，我们证明了当增广拉格朗日量中的罚参数大于给定阈值时，Prox-PDA全局和次线性地收敛到稳态解集（即，在$\mathcal{O}(1/r)$的速率中，稳定性的某种度量降低，其中$r$是迭代计数器）。有趣的是，当将Prox-PDA的变体应用于分布式非凸优化问题（在连通的无向图上）时，所得算法与流行的EXTRA算法一致[Shi et al 2014]，该算法仅在凸情况下工作。我们的分析表明，EXTRA及其变种全局次线性收敛到某些非凸分布最优化问题的平稳解。Prox-PDA有许多可能的扩展，我们提出了一个特定的扩展到某些非凸分布矩阵分解问题。
2016-04-02 cs.IT math.IT math.OC
Exploiting Strong Convexity from Data with Primal-Dual First-Order Algorithms
我们考虑了具有凸损失函数的线性预测的经验风险最小化问题。这类问题可以转化为凸-凹鞍点问题，因此非常适合于原始-对偶一阶算法。然而，原始对偶法通常需要显式强凸正则化以获得快速的线性收敛，并且所需的对偶邻近映射可能不允许封闭形式或有效解。在本文中，我们开发了批量和随机原始对偶法，可以利用强凸性的数据自适应，即使没有正则化，也能够实现线性收敛。我们还提出了自适应原始对偶法，不需要计算的对偶邻近映射，这是特别适合于逻辑斯谛回归的双自由的变种。
2017-03-07 math.OC stat.ML
Global exponential stability of primal-dual gradient flow dynamics based on the proximal augmented Lagrangian: A Lyapunov-based approach
University of Southern California（南加州大学）
针对一类带线性等式约束的非光滑复合最优化问题，利用基于Lyapunov的方法，建立了基于近似增广拉格朗日量的原始-对偶梯度流动力学的全局指数稳定性.当目标函数的可微部分是Lipschitz连续梯度的强凸函数，不可微部分是适当的、下半连续的和凸的，且线性约束中的矩阵是满行秩秩的时，结果成立.我们的二次李雅普诺夫函数推广最近的结果从强凸问题的仿射等式或不等式约束，以更广泛的一类复合最优化问题与非光滑正则化，它提供了一个最坏情况下的指数衰减率的下界。最后，我们使用计算实验来证明我们的收敛速度估计比现有的替代方案是不太保守的。
2019-10-02 cs.LG cs.SY eess.SY
An adaptive proximal safeguarded augmented Lagrangian method for nonsmooth DC problems with convex constraints
Institute of Mathematics, University of Würzburg（维尔茨堡大学数学研究所）
本文提出一种自适应近端保护增广拉格朗日方法，用于求解带有凸约束的非光滑DC问题，证明了在修改的Slater约束资格下，原变量和对偶变量收敛到广义KKT点。
2026-03-30 math.OC
A Nesterov-Accelerated Primal-Dual Splitting Algorithm for Convex Nonsmooth Optimization
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
本文提出APAPC算法，通过整合Nesterov动量提升对偶方法的收敛性，实现非光滑优化问题的O(1/t²)次线性收敛及线性收敛。
2026-10-09 math.OC
On starting and stopping criteria for nested primal-dual iterations
一个足够的内部循环的起点（相对于一个足够的内部循环停止规则）的重要性进行了讨论的上下文中的数值优化算法，包括嵌套的原始-对偶邻近梯度迭代。当预先确定内迭代次数时，通过对内循环采用热启动策略，仍能保证整个算法的收敛性，表明内循环“启动规则”与“停止规则“在保证收敛性方面同样有效。算法本身适用于由一个可微项和两个可能不可微项之和定义的凸优化问题的数值解。后一项中的一项应该采取线性映射和可逼近函数的组合的形式，而可微项需要可接近的梯度。该算法在某些特殊情况下退化为经典的近似梯度算法，并推广了现有的其他算法。此外，在强凸性条件下，我们证明了线性收敛速率。
2018-06-20 math.OC
Acceleration of Primal-Dual Methods by Preconditioning and Simple Subproblem Procedures
原-对偶混合梯度法（PDHG）和乘子交替方向法（ADMM）是两种广泛应用的一阶最优化方法。它们将一个困难的问题简化为简单的子问题，因此它们易于实现并有许多应用。然而，作为一阶方法，它们对问题条件敏感，并且可能难以达到所需的精度。为了提高它们的性能，研究人员提出了对角预处理和不精确子问题等技术。本文实现了约一个数量级的额外加速比。具体来说，我们选择非对角预处理器，这比对角预处理器更有效。正因为如此，我们失去了一些子问题的封闭形式的解决方案，但我们找到了简单的程序来取代它们，如一些近似梯度迭代或几个时期的近端块坐标下降，这是在封闭的形式。当每次外迭代的步数固定时，我们证明了算法的整体收敛。因此，我们的方法是可靠和直接的。我们的方法开放了预处理器的选择，并保持低的每次迭代成本和整体收敛。因此，在原始-对偶一阶方法的几个典型应用中，我们获得了4-95 $\times$的加速比。
2019-09-08 math.OC
Tight Convergence Rate in Subgradient Norm of the Proximal Point Algorithm
邻近点法有着广泛的应用，它在许多一阶方法的理解、设计和分析中起着基础性的作用。本文证明了Taylor，Hendrickx和Glineur [SIAM J.~]提出的邻近点法在次梯度模下的紧收敛速度Optim.，27（2017），pp.~ 1283- 1313]。当考虑对偶方法时，这种在残余（子）梯度范数方面的收敛结果特别有趣，其中对偶残余梯度范数对应于到可行性的原始距离。
2023-01-09 math.OC
A Mixing-Accelerated Primal-Dual Proximal Algorithm for Distributed Nonconvex Optimization
本文提出分布式混合加速原始对偶近端算法MAP-Pro，通过类增广拉格朗日函数与时变混合多项式实现非凸优化，证明了次线性及P-Ł条件下的线性收敛性，结合Chebyshev加速可提升性能，数值实验验证其收敛与通信效率优势。
2024-03-10 cs.SY eess.SY math.OC
Iteration-complexity of a Rockafellar's proximal method of multipliers for convex programming based on second-order approximations
研究了求解带不等式约束的光滑凸规划问题的基于Rockafellar近似乘子法（PMM）的一种新的原始对偶法的迭代复杂性.在每一步中，要么一个步骤的Rockafellar的PMM的二阶模型的问题进行计算或放松extragradiation步骤。由此产生的算法是一个（大步）放松的混合近端外梯度（r-HPE）方法的乘法器，它结合了Rockafellar的PMM与r-HPE方法。
2016-02-22 math.OC
Convergence Analysis of A Proximal Linearized ADMM Algorithm for Nonconvex Nonsmooth Optimization
本文考虑一种近似线性化交替方向乘子法（PL-ADMM）来求解线性约束非凸和可能的非光滑最优化问题。通过在原始更新中使用变尺度邻近项和在乘子更新中使用超松弛步长，将该算法推广。证明了该方法生成的序列是有界的，其极限点是临界点。在强大的Kurdyka-{Eschojasiewicz}性质下，我们证明了序列具有有限长度从而收敛，并且我们驱动了它的收敛速度。
2021-07-03 math.OC
Primal Dual Interpretation of the Proximal Stochastic Gradient Langevin Algorithm
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
我们考虑对数凹概率分布的抽样任务。假设目标分布的势是复合的，\textit{i.e.}，写为光滑凸项和可能取无穷大值的非光滑凸项的和。目标分布可以被看作是在Wasserstein空间（\textit{i.e.}，概率测度的空间）上定义的库尔贝克-莱布勒散度的最小化。在本文的第一部分中，我们建立了这个极小化问题的一个强对偶结果。在本文的第二部分中，我们利用第一部分中提出的对偶间隙来研究近似随机梯度Langevin算法（PSGLA）的复杂性，PSGLA可以看作是投影Langevin算法的推广。我们的方法依赖于将PSGLA视为原始对偶算法，并涵盖了许多目标分布不完全支持的情况。特别是，我们表明，如果潜在的是强凸的，PSGLA的复杂性是$O(1/\varepsilon^2)$的2-瓦瑟斯坦距离。相比之下，投影朗之万算法的复杂性是$O(1/\varepsilon^{12})$的总变分时，潜在的凸。
2021-02-22 cs.LG math.OC stat.ML
Accelerated Primal Dual Method for a Class of Saddle Point Problem with Strongly Convex Component
本文提出了一种简单的原始对偶方法DPD，它是求解一类具有或不具有强凸分支的鞍点问题的灵活框架。该方法有线性化形式LDPD和精确化形式EDPD。DPD的每次迭代通过简单的邻近映射顺序地更新对偶变量和原始变量，并通过外推来细化对偶变量。光滑或强凸原始分量的收敛性分析恢复了以前的最先进的结果，而强凸对偶分量的收敛性分析获得了原始对偶间隙的完全加速$O(1/k^2)$。通过对高斯噪声和椒盐噪声图像的全变差图像去模糊实验，证明了利用对偶分量的强凸性实现全变差加速的有效性。
2019-07-14 math.OC
A Class of Randomized Primal-Dual Algorithms for Distributed Optimization
基于[Combettes，Pesquet，2014]中最近提出的随机块坐标向前-向后算法的预处理版本，设计了块坐标原始对偶法的几个变体，以解决各种单调包含问题。这些方法依赖于扫描块的变量，这些变量在每次迭代时根据随机规则被激活，并且它们允许在所涉及的操作符的评估中出现随机误差。然后，利用该框架推导出求解复合凸变分问题的块坐标原-对偶近似算法。所得到的算法实现可以用于降低计算复杂性和存储器需求。此外，我们表明，所提出的方法可用于开发新的异步分布式原始对偶法在多代理的上下文中。
2014-10-25 math.OC
Dual subgradient algorithms for large-scale nonsmooth learning problems
经典的一阶凸优化算法，如镜像下降算法或Nesterov光滑凸优化算法，具有不依赖于问题维数的最优（理论）复杂度估计。然而，为了达到最优，问题的域应该允许一个“好的近似设置”。后者本质上意味着1）问题域应满足“有利几何”的某些几何条件，以及2）这些方法的实际使用取决于我们在每次迭代时以适度成本计算{ \em邻近变换}的能力。在计算学习中出现的最优化问题中，这两个条件往往都得到满足，这就解释了为什么最近近端型FO方法成为解决各种学习问题的首选方法。然而，他们满足他们的限制，在几个重要的问题，如多任务学习与大量的任务，其中的问题域并没有表现出良好的几何形状，和学习和矩阵完成问题与核范数约束，当计算的数值成本接近变换成为大规模的问题。我们提出了一种新的方法来解决非光滑最优化问题中出现的学习应用程序中的Fenchel型表示的目标函数。该方法是基于应用FO算法的对偶问题，并使用{ \em精度证书}的方法来恢复原始的解决方案。虽然次优的准确性，所提出的方法并不依赖于“良好的邻近设置”的原始问题，但需要的问题域承认一个线性最优化预言-的能力，有效地最大限度地提高线性型域的原始问题。
2013-08-26 math.OC
A forward-backward view of some primal-dual optimization methods in image recovery
大量的图像恢复问题可以抽象为在希尔伯特空间中最小化复合凸函数之和的问题。为了解决这样的问题，原始-对偶邻近方法已经被开发，其为大规模最优化问题提供有效解。本文的目的是表明一些现有的算法可以从一个一般形式的向前向后算法应用在一个适当的积空间。我们的方法还允许我们通过引入可变度量来开发现有算法的有用扩展。最后给出了图像复原的实例。
2014-06-20 math.OC
An inexact primal-dual method with correction step for a saddle point problem in image debluring
本文提出一种带校正步的非精确原始-对偶方法，放宽步长要求，证明收敛及$O(1/N)$遍历收敛速率，并应用于TV-L$_1$图像去模糊，数值实验验证其有效性。
2025-03-29 math.OC
Stochastic Primal-Dual Proximal ExtraGradient Descent for Compositely Regularized Optimization
UC Berkeley（加州大学伯克利分校）；National University of Defense Technology（国防科技大学）；Stanford University（斯坦福大学）；National University of Singapore（新加坡国立大学）
我们考虑了广泛的正则化随机极小化问题的两个正则化项，其中之一是由一个线性函数。该优化模型抽象了人工智能和机器学习中的许多重要应用，例如融合Lasso，融合Logistic回归和一类图引导正则化最小化。这个模型的计算挑战有两个方面。一方面，与组合正则化项或期望目标函数相关联的邻近映射的封闭形式解是不可用的。另一方面，当输入数据样本的数量相当大时，目标中期望的全梯度的计算是非常昂贵的。为了解决这些问题，我们提出了一个随机变量的额外梯度型方法，即\textsf{Stochastic Primal-Dual Proximal ExtraGradient descent (SPDPEG)}，并分析其收敛性的凸和强凸目标。对于一般的凸目标，由\textsf{SPDPEG}产生的一致平均迭代以$O(1/\sqrt{t})$速率按期望收敛。而对于强凸目标，由\textsf{SPDPEG}产生的一致和非一致平均迭代分别以$O(\log(t)/t)$和$O(1/t)$速率收敛.所提出的算法的速度的顺序是已知的，以匹配一阶随机算法的最佳收敛速度。融合逻辑回归和图引导正则化逻辑回归问题的实验表明，该算法的性能非常有效，并始终优于其他竞争算法。
2018-02-01 cs.LG math.OC stat.ML
On the Asymptotic Behavior of the Douglas-Rachford and Proximal-Point Algorithms for Convex Optimization
作者在（Banjac等人，2019）最近表明，道格拉斯-拉赫福德算法提供了一类凸优化问题的不可行性证明。特别是，他们证明了算法生成的连续迭代之间的差异收敛于原始和对偶强不可行性的证明。他们的结果显示在有限维欧几里德设置和特定结构的约束集。本文将这一结果推广到实希尔伯特空间和一般非空闭凸集。此外，我们表明，适用于该问题的最优性条件集的邻近点法产生类似的不可行性证书。
2020-12-10 math.OC
Stochastic forward-backward and primal-dual approximation algorithms with application to online image restoration
随机逼近技术已经在数据科学的各种背景下使用。我们提出了一个随机版本的向前向后算法，用于最小化两个凸函数之和，其中之一不一定是光滑的。我们的框架可以处理光滑函数的梯度的随机逼近，并允许在非光滑函数的邻近算子的评价中的随机误差。在相对较弱的假设下，证明了该算法产生的迭代点几乎必然收敛到极小点。我们还提出了一个流行的原始-对偶邻近分裂算法的随机版本，建立其收敛性，并将其应用于在线图像恢复问题。
2016-02-25 math.OC
Dykstra splitting and an approximate proximal point algorithm for minimizing the sum of convex functions
我们表明，Dykstra的分裂投影到交集的凸集可以扩展到最小化的总和凸函数和正则二次。我们给出的条件，收敛到原始极小，使多个凸函数可以最小化的时间，凸函数不一定是在一个循环的方式进行采样，和SHQP策略的问题，涉及到一个以上的凸集的交集可以应用。当和不涉及正则化二次型时，我们讨论了一种近似邻近点方法结合Dykstra分裂来最小化这个和。
2017-09-27 math.OC
FBstab: A Stabilized Semismooth Quadratic Programming Algorithm with Applications in Model Predictive Control
本文介绍了近似稳定的Fischer-Burmeister方法（FBstab），一种新的算法，凸二次规划，协同结合的邻近点法的原始-对偶半光滑牛顿型方法。FBstab具有数值鲁棒性、易于热启动、处理退化原始-对偶解、检测不可行性/无界性以及仅要求黑塞矩阵是半正定的。我们概述了算法，提供收敛性和收敛速度的证明，报告一些数值结果从模型预测控制基准，也包括实验结果。我们发现，FBstab是有竞争力的，往往优于，最先进的方法，具有吸引力的缩放特性，是特别有前途的模型预测控制应用。
2019-05-19 math.OC
A Primal-Dual Smoothing Framework for Max-Structured Non-Convex Optimization
针对具有最大结构的非光滑非凸优化问题，提出原始-对偶平滑框架，分析两类平滑途径的梯度复杂度并改进现有最优预言机复杂度。
2023-07-17 math.OC
Block-Simultaneous Direction Method of Multipliers: A proximal primal-dual splitting algorithm for nonconvex problems with multiple constraints
Princeton University（普林斯顿大学）
我们引入了一个推广的线性化交替方向法的乘数，以优化一个实值函数$f$的多个参数与潜在的多个约束$g_\circ$对他们每个人。函数$f$可以是非凸的，只要它在每个参数上都是凸的，而约束$g_\circ$需要是凸的但不光滑。如果$f$是光滑的，建议的块同步方向乘子法（bSDMM）可以解释为一个近似的模拟不精确坐标下降法的约束。与多约束问题的联合求解器的替代方法不同，我们不要求约束函数$g(L\ \cdot)$的线性算子$L$是可逆的或彼此之间的链接。bSDMM非常适合于一系列最优化问题，特别是数据分析，其中$f$是模型的似然函数，而$L$可以是描述例如有限差分或基变换的变换矩阵。我们应用bSDMM的非负矩阵分解任务的高光谱分解问题，并证明收敛性和有效性的多个约束的两个矩阵因子。这些算法是用python实现的，并作为开源软件包发布。
2017-08-30 cs.CV cs.LG math.OC
Relative Primal--Dual Gap Certificates for Operator-Composite Trust-Region Methods
George Mason University（乔治梅森大学）
针对算子复合信赖域方法，提出相对原始-对偶间隙证书，保证收敛性并给出复杂度界，通过半线性椭圆控制问题验证了方法的有效性。
2026-09-24 cs.NA math.AP math.NA
Distributed Proximal Algorithms for Multi-Agent Optimization with Coupled Inequality Constraints
本文研究了有向时变网络上的分布式最优化问题，其中全局目标函数由一组局部可达的凸目标函数组成，它们受可行集约束和耦合的不等式约束的约束，每个智能体只能部分地获取这些约束的信息.针对这一问题，在著名的集中式邻近点法的基础上，提出了一种基于邻近点的分布式算法--分布式邻近原对偶算法（DPPD）。结果表明，该算法能以一般步长得到全局最优解，该步长是递减的且不可和的，但不一定是平方和的，鞍点运行估计误差与$O(1/\sqrt{k})$成比例地消失，其中$k>0$是迭代次数.最后，通过仿真实例验证了该算法的有效性.
2020-07-11 math.OC
A Memory-efficient Algorithm for Large-scale Sparsity Regularized Image Reconstruction
针对具有非光滑正则化项的凸图像重建问题，提出了一种节省内存的一阶变量分裂算法。该算法是基于一个原始-对偶的方法，其中一个对偶变量更新使用的步骤的弗兰克-沃尔夫算法，而不是典型的近端点步骤中使用的其他原始对偶法。我们表明，在某些情况下，这导致在一个算法的内存需求远远低于其他一阶方法的基础上邻近映射。我们证明了稀疏视图的X射线计算机断层扫描（CT）重建与非光滑边缘保持正则化的问题上的算法，并显示竞争力的运行时间与其他国家的最先进的算法，同时使用更少的内存。
2019-03-31 math.OC
Generalized Proximal Smoothing for Phase Retrieval
在本文中，我们报告的广义邻近平滑（GPS）算法的相位恢复噪声数据的发展。GPS是一种基于优化的算法，在该算法中，我们放松了傅立叶幅度和对象约束。通过引入广义Moreau-Yosida正则化和热核光滑，我们放松了对象约束。我们能够很容易地处理相关的近端映射的对偶变量通过使用一个下卷积。我们还放宽幅度约束到最小二乘保真度项，其邻近映射是可用的。GPS分别在原始空间和对偶空间中的两个邻近映射之间交替迭代。利用数值模拟和实验数据，我们证明了GPS算法在收敛速度、相位恢复的一致性和对噪声的鲁棒性等方面都优于经典的相位恢复算法，如混合输入输出（HIO）和过采样平滑（OSS）。
2018-03-15 math.OC
An Interior Point-Proximal Method of Multipliers for Convex Quadratic Programming
本文将不可行内点法（IPM）与邻近乘子法（PMM）相结合。所得到的算法（IP-PMM）被解释为一个原始-对偶正则IPM，适用于求解线性约束凸二次规划问题。我们将内点方法的几次迭代应用于邻近乘子方法的每个子问题。一旦找到PMM子问题的满意解，我们更新PMM参数，形成新的IPM邻域并重复此过程。在这个框架下，我们证明了多项式复杂性的算法，在标准的假设。据我们所知，这是原始-对偶正则化IPM的第一个多项式复杂度结果。该算法是指导使用一个单一的罚参数，即对数障碍。换句话说，我们表明，IP-PMM继承IPMs的多项式复杂性，以及严格的凸性的PMM子问题。罚参数的更新由IPM控制，因此是良好调整的，并且不依赖于所解决的问题。此外，我们研究的行为时，它被应用到一个不可行的问题，并确定了一个必要条件不可行的方法。后者用于构建不可行性检测机制。随后，我们提供了一个强大的实现所提出的算法，并测试了一组小到大规模的线性和凸二次规划问题。数值结果表明，在IPM中使用正则化的好处，以及该方法的可靠性。
2020-03-05 math.OC
Randomized Primal-Dual Proximal Block Coordinate Updates
University of Minnesota（明尼苏达大学）；University of Alabama（阿拉巴马大学）
本文提出了一种随机对偶近似代理块坐标更新框架，用于解决一般多块凸优化问题，证明了在目标函数和线性约束耦合下的O(1/t)收敛性，扩展了现有算法的收敛性质。
2017-01-24 cs.NA math.NA math.OC
On the Regularization of Primal-Dual Dynamics in Time-Dependent Nonconvex Optimization
School of Science and Technology, IE University（IE大学科学与技术学院）；Department of Mechanical and Aerospace Engineering, University of California San Diego（加州大学圣地亚哥分校机械与航空航天工程系）
该研究针对时变非凸优化问题，分析原对偶动力学的正则化，提出相关方法并通过交通信号实验验证其效果。
2026-10-15 math.OC
An Inexact Interior-Point Lagrangian Decomposition Algorithm with Inexact Oracles
本文提出了一种新的非精确内点拉格朗日分解方法来求解一类广泛的约束组合凸优化问题。我们的方法依赖于四种技术：拉格朗日对偶分解，自协调障碍平滑，路径跟踪，和近似牛顿技术。它还允许近似计算原始子问题（称为从属问题）的解，这导致不精确的预言（即，不精确梯度和Hessians）的光滑对偶问题（称为主问题）。光滑对偶问题是非光滑的，我们提出用不精确近似牛顿法来求解，通过适当地控制从问题和主问题两个层次上的不精确计算，我们仍然估计了算法的多项式时间迭代复杂度，就像标准的短步内点方法一样.我们还提供了一个策略，以恢复原始解决方案，并建立复杂性，以实现近似原始解决方案。我们说明了我们的方法，通过两个数值例子知名的模型与合成和真实的数据，并比较它与一些现有的国家的最先进的方法。
2019-04-18 math.OC
