Comparison of Proximal First-Order Primal and Primal-Dual algorithms via Performance Estimation
针对信号/图像处理任务中算法选择难题，基于性能估计框架自动计算最坏情况性能，比较并加强多种一阶原始及原始-对偶算法的收敛结果。
2024-03-15 math.OC
Primal-dual proximal splitting and generalized conjugation in non-smooth non-convex optimization
我们证明了困难的非凸非光滑最优化问题，如纳什均衡问题和各向异性以及各向同性Potts分割模型，可以写在广义共轭的凸泛函。这些，反过来，可以制定为鞍点问题，涉及凸非光滑泛函和一般光滑，但非双线性耦合项。然后，我们表明，通过详细的收敛性分析，概念上简单的扩展的原始-对偶邻近Chambolle和Pock分裂方法是适用于解决这些问题。在充分的局部强凸性假设的泛函-但仍然与非双线性耦合项-我们甚至证明了局部线性收敛的方法。我们说明这些理论结果数值上的上述示例问题。
2020-03-19 math.OC
Fast dual proximal gradient algorithms with rate $O(1/k^{1.5})$ for convex minimization
考虑由一个强凸函数和一个强凸函数组成的复合函数的极小化问题。快速双近端梯度（FDPG）方法以速率$O(1/k^2)$减小对偶函数，从而产生用于减小原始函数的速率$O(1/k)$。我们提出了一个广义FDPG方法，保证了$O(1/k^{1.5})$率的双近端梯度范数下降。通过将其与原始函数减少相关联，所提出的方法以改进的$O(1/k^{1.5})$速率减少原始函数。
2016-09-29 math.OC
A semi-proximal augmented Lagrangian based decomposition method for primal block angular convex composite quadratic conic programming problems
针对具有原始块角结构的凸复合二次锥规划问题，提出了一种基于半邻近增广拉格朗日分解的求解方法。使用我们的算法框架，我们能够自然地得到几个众所周知的增广拉格朗日分解方法的随机规划，如对角二次近似法的Mulvey和Ruszczyovski。此外，我们能够得到新的增强和推广这些众所周知的方法。我们还提出了一个半近似对称的高斯-赛德尔为基础的交替方向法的乘数解决相应的对偶问题。数值结果表明，我们的算法可以很好地执行，即使是非常大的情况下，原始块角凸QP问题。例如，一个具有多个$300,000$线性约束和$12,500,000$非负变量的实例在小于一分钟内求解，而Guesthouse花费了3个多小时，另一个具有多个$331,000$线性约束和$986,000$非负变量的实例{ \tt qp-gridgen 1}在大约5分钟内求解，而Guesthouse花费了35分钟以上。
2018-12-12 math.OC
A Smooth Double Proximal Primal-Dual Algorithm for a Class of Distributed Nonsmooth Optimization Problem
本文研究了一类分布式非光滑凸一致最优化问题。成本函数是局部费用函数的和，这些成本函数是凸的但非光滑的。每个局部费用函数由一个二次可微凸函数和两个下半连续凸函数组成。我们称这个问题为单光滑加双非光滑（SSDN）问题。在较弱的条件下，提出了一种分布式双邻近原-对偶优化算法。双邻近算子的设计是为了解决这两个非光滑函数之和的不可逼近性所带来的困难。此外，它还可以保证所提出的算法是局部Lipschitz连续的。在双邻近算子中引入一个辅助变量来估计第二类非光滑函数的次梯度。理论上，我们利用李雅普诺夫稳定性理论进行收敛性分析。结果表明，该算法能使状态在最优点达到一致.最后给出了非平凡的仿真结果，验证了该算法的有效性。
2018-08-16 math.OC
A New Homotopy Proximal Variable-Metric Framework for Composite Convex Minimization
本文提出了两种新的思想，发展了求解一类复合凸优化问题的新的近似变度量法。第一个想法是一个新的参数化的最优性条件，使我们能够开发一类同伦近变度量法。我们表明，在适当的假设，如强凸型和光滑性，或自和谐，我们的新计划可以实现有限的全球迭代复杂性的界限。我们的第二个想法是一个原始-对偶-原始框架的近似牛顿方法，可以导致一些有用的计算功能的一个子类的非光滑复合凸优化问题。从原问题出发，构造了原问题的对偶问题，并利用同伦近似牛顿法求解该对偶问题。与其直接在对偶空间中求解子问题，我们建议将这个子问题对偶化，回到原始空间。由此产生的子问题共享一些相似性，促进了原问题的正则化，并导致一些计算上的优势。作为一个副产品，我们专门提出的算法来解决协方差估计问题。令人惊讶的是，我们的新算法不需要任何矩阵求逆或Cholesky分解，和函数评估，而它的作品在原始空间的稀疏结构，促进了正则化。几个应用的数值例子来说明我们的理论发展，并与国家的艺术比较。
2018-12-13 math.OC
RandProx: Primal-Dual Optimization Algorithms with Randomized Proximal Updates
邻近分裂算法非常适合于解决大规模非光滑最优化问题，特别是机器学习中出现的问题。我们提出了一种新的原始对偶法，其中对偶更新是随机的，等价地，在问题中的函数之一的邻近算子被替换为随机预言。例如，在每次迭代中更新一些随机选择的对偶变量，而不是全部。或者，函数的邻近运算符仅以较小的概率被调用。一个非光滑的方差减少技术的实施，使算法找到一个确切的极小化的一般问题，涉及光滑和非光滑的功能，可能与线性算子组成。我们推导出线性收敛结果存在强凸性，这些结果是新的，即使在确定性的情况下，当我们的算法恢复到最近提出的原始-对偶戴维斯-尹算法。文献中的一些随机算法也被恢复为特定情况（例如，Point-SAGA）。但我们的随机化技术是通用的，包括许多超越采样和概率更新的无偏机制，包括压缩。由于收敛速度取决于原始和对偶收缩机制中最慢的一个，因此当使用随机性时，迭代复杂度可能保持不变。另一方面，可以显著降低计算复杂度。总的来说，随机性有助于获得更快的算法。这在随机梯度型算法中早已为人所知，我们的工作表明，这也完全适用于更一般的原始对偶设置。
2023-03-07 math.OC
New Primal-Dual Proximal Algorithm for Distributed Optimization
我们考虑一个网络的代理人，每个都有自己的私人成本组成的两个可能的非光滑的凸函数，其中之一是由一个线性算子的总和。在每次迭代中，每个代理执行本地计算，并且只能与其邻居通信。目标是最小化私有费用函数的总和，并在图上达成共识。我们提出了一个原始对偶法的基础上\emph{Asymmetric Forward-Backward-Adjoint}（AFBA），一个新的运营商分裂技术最近推出的两位作者。我们的算法包括Chambolle和Pock的方法作为一个特殊情况，并具有线性收敛速率时，费用函数分段线性二次。我们表明，我们的分布式算法很容易实现，而不需要执行矩阵求逆或内部循环。我们通过计算实验证明如何选择我们的算法的参数可以导致更大的步长，并产生更好的性能。
2017-03-12 math.OC
The operator splitting schemes revisited: primal-dual gap and degeneracy reduction by a unified analysis
我们重新审视了在最近的工作中提出的算子分裂方案[基于拉格朗日和原始对偶的算子分裂方案的一些扩展：统一的邻近点分析，冯雪，优化，2022，doi：10.1080/02331934.2022.2057309]，并进一步在统一的邻近点框架下分析了这些算法的广义Bregman距离和原对偶间隙的收敛性。还原到一个简单的预解的可能性也讨论了利用结构和可能的退化的基本度量。
2023-02-19 math.OC
A New Randomized Block-Coordinate Primal-Dual Proximal Algorithm for Distributed Optimization
本文提出了一种新的原始对偶法TriPD，用于极小化一个Lipschitz可微凸函数和两个可能非光滑的凸函数之和，其中一个凸函数由一个线性映射组成.我们设计了一个随机块坐标版本的算法收敛在相同的步长条件下的完整算法。它表明，无论是原来的，以及块坐标计划功能线性收敛速率时，所涉及的功能是分段线性二次，或当他们满足一定的二次增长条件（这是弱于强凸性）。此外，我们将开发的算法应用到图上的多智能体优化问题，从而获得新的同步和异步分布式方法。所提出的算法是完全分布式的意义上说，每个代理的更新和步长只依赖于本地信息。事实上，不需要事先进行全球协调。最后，我们展示了我们的算法在分布式编队控制中的应用。
2019-09-30 math.OC
Interwoven SDP in Primal-Dual Proximal Splitting Methods for Adjustable Robust Convex Optimisation with SOS-Convex Polynomial Constraints
University of New South Wales（新南威尔士大学）
本文提出了一种基于SDP的对偶近端分裂方法，用于求解具有SOS-凸多项式约束的可调整鲁棒凸优化问题，展示了其在两阶段订货模型中的有效性。
2026-02-16 math.OC
A Proximal Alternating Direction Method of Multiplier for Linearly Constrained Nonconvex Minimization
考虑多面体上非凸可微函数的极小化问题。一个流行的原始-对偶一阶方法是对增广拉格朗日函数进行梯度投影迭代，然后使用约束残差更新对偶乘子向量。然而，数值例子表明，这种方法可以表现出“振荡”，可能不会收敛。在本文中，我们提出了一个接近的交替方向法的乘法器的多块版本的这个问题。该方法的显著特征是引入了“平滑”（即，指数加权）原始迭代序列，并且在每次迭代时，将以当前平滑原始迭代为中心的二次邻近项包含到增广拉格朗日函数中。在每次迭代中，得到的近端增广拉格朗日函数被不精确地最小化（经由梯度投影步骤），而使用线性约束的残差来更新对偶乘子向量。当原始和对偶步长足够小时，我们证明了适当的“平滑”可以稳定“振荡”，并且新的近似ADMM算法的迭代在一些温和的正则性条件下收敛到一个稳定点。当目标函数为二次函数时，证明了算法的线性收敛性.我们的证明是基于一个新的势函数和一个新的使用误差界。
2020-08-04 math.OC
Projective Splitting as a Warped Proximal Algorithm
我们证明了P.L. Combettes和J. Eckstein在他们的2018年数学课程中。论文可以被看作是最近提出的翘曲邻近算法的实例。
2021-06-04 math.OC
Primal-Dual Bundle Methods for Linear Equality-Constrained Problems
针对对偶上升法和乘子法因近端线性代理函数精度低导致收敛慢的问题，本文提出一类泛化性更强的新型原始-对偶束方法，证明了其收敛性，且实验验证该方法收敛更快、参数鲁棒性更优。
2025-11-18 math.OC
A Unifying Primal-Dual Proximal Framework for Distributed Nonconvex Optimization
School of Information Science and Technology, Shanghaitech University（上海科技大学信息科学与技术学院）；Shanghai Engineering Research Center of Energy Efficient and Custon AI IC（上海市能效与定制人工智能集成电路工程研究中心）
本文提出了一种统一的对偶近似 proximal 框架，用于解决分布式非凸优化问题，并通过实验验证了其在收敛速度和通信效率上的优势。
2026-03-10 math.OC
Bregman three-operator splitting methods
本研究将广义Bregman距离引入凸优化的原始-对偶邻近分裂方法，扩展了Condat-Vu系列算法与PD3O算法，给出统一收敛分析框架及适用于等式约束问题的步长线搜索策略。
2022-10-03 math.OC
Primal-dual block-proximal splitting for a class of non-convex problems
我们开发了块结构适应的原始对偶法的非凸非光滑优化问题，其目标可以写为组合物$G(x)+F(K(x))$的非光滑块可分凸函数$G$和$F$与非线性Lipschitz可可微算子。我们的方法是改进的非线性原始-对偶邻近分裂方法，这样的问题没有块结构，这本身是基于原始-对偶邻近分裂方法的Chambolle和Pock凸问题。我们提出了个人的步长参数和加速规则的原始和对偶块的问题。这使得它们能够通过适应问题的结构来更快地收敛。对于迭代到临界点的平方距离，我们在不同的条件和步长参数的选择下显示了局部$O(1/N)$，$O(1/N^2)$和线性速率。最后，我们证明了实际的逆问题的方法的性能：扩散张量成像和电阻抗断层扫描。
2020-04-22 cs.NA math.NA math.OC
New Primal-Dual Algorithm for Convex Problems
本文提出一种基于两个新近端项的原始-对偶算法，用于凸-凹鞍点问题，实现O(1/N)收敛，强凸时加速至O(1/N^2)，并引入线搜索策略，实验验证其有效性。
2025-04-23 math.OC
Consensus Planning with Primal, Dual, and Proximal Agents
本文提出了一种允许不同类型的智能体协调的共识规划算法，结合了ADMM-like、对偶上升和线性化ADMM更新，实现了次线性及线性收敛性，并提供了实证结果。
2025-11-21 cs.MA math.OC
A primal dual variational formulation suitable for a large class of non-convex problems in optimization
在这篇文章中，我们开发了一个新的原始对偶变分公式适用于一个大类的非凸变分问题。这些结果是通过凸分析、对偶理论、勒让德变换概念以及原始变量和对偶变量之间的关系等基本工具得到的。这里的新颖之处在于，对偶公式也是为原始变量建立的，但是具有关于临界点的大的域区域。最后，我们正式证明了在局部极值的情况下，原始和对偶公式之间没有对偶间隙。
2019-09-03 math.OC
Level proximal subdifferential, variational convexity, and pointwise quadratic approximation
Chongqing Normal University（重庆师范大学）；University of British Columbia Okanagan（不列颠哥伦比亚大学奥肯那根分校）
本文研究了水平近似子微分的系统性质，通过局部强非扩张性或局部相对单调性刻画变分凸性，并用于分析近端梯度法的局部收敛性，同时探讨了水平近似子微分的存在性、单值性和积分性，量化了函数的点wise二次近似特性。
2026-04-21 math.OC
Some adaptive proximal method for a special class of variational inequalities and related problems
对一类特殊的变分不等式及相关问题提出了一种自适应逼近方法。例如，考虑了所谓的混合变分不等式和复合鞍问题。一些估计所需的迭代次数，以达到一个给定的质量的解决方案。
2020-08-23 math.OC
Variational Analysis of Proximal Compositions and Integral Proximal Mixtures
North Carolina State University（北卡罗来纳州立大学）
本文系统分析近端复合与积分近端混合两种凸性保持构造的参数化变分性质，涵盖凸性、共轭、可微性、包络、极小元及渐近行为，并讨论近端期望特例。
2026-10-27 math.OC
A continuous perspective on the inertial corrected primal-dual proximal splitting
本文从连续视角重新诠释IC-PDPS算法，将其重建为半隐式欧拉格式，导出两个等价的二阶ODE模型，并用Lyapunov函数分析拉格朗日间隙的收敛性。
2024-05-23 cs.NA math.NA math.OC
Accelerated Primal-Dual Proximal Gradient Splitting Methods for Convex-Concave Saddle-Point Problems
National Center for Applied Mathematics in Chongqing, Chongqing Normal University（重庆师范大学应用数学中心）；Chongqing Research Institute of Big Data, Peking University（北京大学重庆大数据研究院）
本文针对双线性鞍点问题，提出带自适应尺度参数与Bregman散度的加速原始-对偶邻近梯度分裂方法，结合速度校正保证稳定性，经理论证明收敛速率最优，数值结果验证了方法的实际性能。
2026-09-29 cs.NA math.NA math.OC
Convergence rate analysis of primal-dual splitting schemes
原始-对偶分裂格式是一类求解复杂单调包含和凸优化问题的强有力的算法。他们分解的问题，建立从总和，线性组合，和infimal卷积的简单功能，使每个简单的条款是单独处理通过邻近映射，梯度映射，乘法的线性映射。这导致易于实现和高度并行化或分布式算法，通常获得接近最先进的性能。在本文中，我们分析了一个单调包含问题，捕获一个大类的原始对偶分裂作为一个特殊情况。我们引入了一个统一的计划，并使用一些抽象的算法分析，证明收敛速度的邻近点法，向前向后分裂，Cumberman-Rachford分裂，向前向后向前分裂模型的问题。我们的遍历收敛速度推导下的可变度量，步长，和松弛。我们的非遍历收敛速度是第一次在文献中。最后，我们将我们的结果应用到一个大类的原始对偶法，我们的计划是一个特殊的情况下，推导出他们的收敛速度。
2015-07-30 math.OC
Convergence Analysis of a Relative-type Inexact Preconditioned Proximal ALM for Convex Nonlinear Programming
Sun Yat-sen University（中山大学）；The University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；National University of Singapore（新加坡国立大学）
本文研究了相对型不精确预条件近似增广拉格朗日方法在凸非线性规划中的收敛性，证明了该方法的全局收敛性和渐进线性收敛速度，同时给出了关于原可行性偏差和原目标残差的全局均值收敛率。
2026-03-28 math.OC
An inexact proximal point method for variational inequality on Hadamard manifolds
本文对Hadamard流形上的变分不等式问题提出了一种不精确邻近点方法，并研究了其收敛性。所提出的算法在两个意义上是不精确的。首先，每个邻近的子问题是近似使用的向量场的扩大考虑，然后下一个迭代是通过解决这个子问题，允许适当的误差容限。作为应用，我们得到了Hadamard流形上约束优化问题、平衡问题和非线性最优化问题的一个非精确邻近点方法。
2021-03-03 math.OC
Decomposing Linearly Constrained Nonconvex Problems by a Proximal Primal Dual Approach: Algorithms, Convergence, and Applications
本文针对光滑非凸线性约束最优化问题，提出了一种新的分解方法--邻近原始对偶法（Prox-PDA）.所提出的方法是原始-对偶的基础上，其中的原始步骤最小化某些近似的增广拉格朗日的问题，和对偶步骤进行近似的对偶上升。在初始步骤中使用的近似能够分解变量块，使得可以通过利用问题结构来获得简单的子问题。理论上，我们证明了当增广拉格朗日量中的罚参数大于给定阈值时，Prox-PDA全局和次线性地收敛到稳态解集（即，在$\mathcal{O}(1/r)$的速率中，稳定性的某种度量降低，其中$r$是迭代计数器）。有趣的是，当将Prox-PDA的变体应用于分布式非凸优化问题（在连通的无向图上）时，所得算法与流行的EXTRA算法一致[Shi et al 2014]，该算法仅在凸情况下工作。我们的分析表明，EXTRA及其变种全局次线性收敛到某些非凸分布最优化问题的平稳解。Prox-PDA有许多可能的扩展，我们提出了一个特定的扩展到某些非凸分布矩阵分解问题。
2016-04-02 cs.IT math.IT math.OC
Enlargement of Monotone Vector Fields and an Inexact Proximal Point Method for Variational Inequalities in Hadamard Manifolds
本文对Hadamard流形上的变分不等式引入了一种不精确邻近点方法，并研究了它的收敛性。用于呈现的方法的主要工具是单调向量场的扩大的概念，其将单调算子的扩大的概念从线性设置推广到黎曼上下文。作为应用，得到了求解约束最优化问题的一个非精确邻近点方法。
2015-11-26 math.OC
A primal dual variational formulation and a multi-duality principle for a non-linear model of plates
本文为Kirchhoff-Love非线性板模型建立了一个新的原始对偶公式。首先通过对偶形式建立了一个包含全局最优性充分条件的对偶原理。在这一点上，我们强调这个第一对偶原理是特别适合的情况下，其中的膜应力张量是负定的。在第二步中，从这样一个一般原则，我们开发了一个原始的对偶变分制剂，其中还包括相应的充分条件的全局最优性。结果是基于标准工具的凸分析和一个众所周知的Toland直流优化的结果。最后，在最后一节中，我们给出了一个多重对偶原理以及原始和对偶公式的临界点之间的定性关系。我们正式证明了在局部极值的情况下，这种原始和对偶公式之间没有对偶差距。
2020-05-13 math.OC
Adaptive Proximal Method for Variational Inequalities
对具有Lipschitz连续域的变分不等式提出了一种新的自适应方法。估计所需的迭代次数，以达到一个给定的质量的变分不等式的解决方案。考虑的情况下，持有人连续字段的方法的推广被认为是。
2018-12-24 math.OC
Exploiting Strong Convexity from Data with Primal-Dual First-Order Algorithms
我们考虑了具有凸损失函数的线性预测的经验风险最小化问题。这类问题可以转化为凸-凹鞍点问题，因此非常适合于原始-对偶一阶算法。然而，原始对偶法通常需要显式强凸正则化以获得快速的线性收敛，并且所需的对偶邻近映射可能不允许封闭形式或有效解。在本文中，我们开发了批量和随机原始对偶法，可以利用强凸性的数据自适应，即使没有正则化，也能够实现线性收敛。我们还提出了自适应原始对偶法，不需要计算的对偶邻近映射，这是特别适合于逻辑斯谛回归的双自由的变种。
2017-03-07 math.OC stat.ML
Global exponential stability of primal-dual gradient flow dynamics based on the proximal augmented Lagrangian: A Lyapunov-based approach
University of Southern California（南加州大学）
针对一类带线性等式约束的非光滑复合最优化问题，利用基于Lyapunov的方法，建立了基于近似增广拉格朗日量的原始-对偶梯度流动力学的全局指数稳定性.当目标函数的可微部分是Lipschitz连续梯度的强凸函数，不可微部分是适当的、下半连续的和凸的，且线性约束中的矩阵是满行秩秩的时，结果成立.我们的二次李雅普诺夫函数推广最近的结果从强凸问题的仿射等式或不等式约束，以更广泛的一类复合最优化问题与非光滑正则化，它提供了一个最坏情况下的指数衰减率的下界。最后，我们使用计算实验来证明我们的收敛速度估计比现有的替代方案是不太保守的。
2019-10-02 cs.LG cs.SY eess.SY
An adaptive proximal safeguarded augmented Lagrangian method for nonsmooth DC problems with convex constraints
Institute of Mathematics, University of Würzburg（维尔茨堡大学数学研究所）
本文提出一种自适应近端保护增广拉格朗日方法，用于求解带有凸约束的非光滑DC问题，证明了在修改的Slater约束资格下，原变量和对偶变量收敛到广义KKT点。
2026-03-30 math.OC
A Nesterov-Accelerated Primal-Dual Splitting Algorithm for Convex Nonsmooth Optimization
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
本文提出APAPC算法，通过整合Nesterov动量提升对偶方法的收敛性，实现非光滑优化问题的O(1/t²)次线性收敛及线性收敛。
2026-10-09 math.OC
On starting and stopping criteria for nested primal-dual iterations
一个足够的内部循环的起点（相对于一个足够的内部循环停止规则）的重要性进行了讨论的上下文中的数值优化算法，包括嵌套的原始-对偶邻近梯度迭代。当预先确定内迭代次数时，通过对内循环采用热启动策略，仍能保证整个算法的收敛性，表明内循环“启动规则”与“停止规则“在保证收敛性方面同样有效。算法本身适用于由一个可微项和两个可能不可微项之和定义的凸优化问题的数值解。后一项中的一项应该采取线性映射和可逼近函数的组合的形式，而可微项需要可接近的梯度。该算法在某些特殊情况下退化为经典的近似梯度算法，并推广了现有的其他算法。此外，在强凸性条件下，我们证明了线性收敛速率。
2018-06-20 math.OC
Acceleration of Primal-Dual Methods by Preconditioning and Simple Subproblem Procedures
原-对偶混合梯度法（PDHG）和乘子交替方向法（ADMM）是两种广泛应用的一阶最优化方法。它们将一个困难的问题简化为简单的子问题，因此它们易于实现并有许多应用。然而，作为一阶方法，它们对问题条件敏感，并且可能难以达到所需的精度。为了提高它们的性能，研究人员提出了对角预处理和不精确子问题等技术。本文实现了约一个数量级的额外加速比。具体来说，我们选择非对角预处理器，这比对角预处理器更有效。正因为如此，我们失去了一些子问题的封闭形式的解决方案，但我们找到了简单的程序来取代它们，如一些近似梯度迭代或几个时期的近端块坐标下降，这是在封闭的形式。当每次外迭代的步数固定时，我们证明了算法的整体收敛。因此，我们的方法是可靠和直接的。我们的方法开放了预处理器的选择，并保持低的每次迭代成本和整体收敛。因此，在原始-对偶一阶方法的几个典型应用中，我们获得了4-95 $\times$的加速比。
2019-09-08 math.OC
A Mixing-Accelerated Primal-Dual Proximal Algorithm for Distributed Nonconvex Optimization
本文提出分布式混合加速原始对偶近端算法MAP-Pro，通过类增广拉格朗日函数与时变混合多项式实现非凸优化，证明了次线性及P-Ł条件下的线性收敛性，结合Chebyshev加速可提升性能，数值实验验证其收敛与通信效率优势。
2024-03-10 cs.SY eess.SY math.OC
Iteration-complexity of a Rockafellar's proximal method of multipliers for convex programming based on second-order approximations
研究了求解带不等式约束的光滑凸规划问题的基于Rockafellar近似乘子法（PMM）的一种新的原始对偶法的迭代复杂性.在每一步中，要么一个步骤的Rockafellar的PMM的二阶模型的问题进行计算或放松extragradiation步骤。由此产生的算法是一个（大步）放松的混合近端外梯度（r-HPE）方法的乘法器，它结合了Rockafellar的PMM与r-HPE方法。
2016-02-22 math.OC
Perturbed Proximal Gradient ADMM for Nonconvex Composite Optimization
PPG-ADMM通过引入扰动机制解决非凸复合优化问题，实现子线性收敛并提供更强的最优性保证。
2026-01-05 math.OC
Unifying Variational View of Accelerated Primal-Dual Methods
William E. Boeing Department of Aeronautics and Astronautics, University of Washington（华盛顿大学威廉E.波音航空航天系）
本文提出统一变分框架，通过ELR原理生成加速原始-对偶流，涵盖镜像与ADMM特例，并证明指数收敛，扩展至概率分布优化。
2026-09-15 math.OC
Convergence Analysis of A Proximal Linearized ADMM Algorithm for Nonconvex Nonsmooth Optimization
本文考虑一种近似线性化交替方向乘子法（PL-ADMM）来求解线性约束非凸和可能的非光滑最优化问题。通过在原始更新中使用变尺度邻近项和在乘子更新中使用超松弛步长，将该算法推广。证明了该方法生成的序列是有界的，其极限点是临界点。在强大的Kurdyka-{Eschojasiewicz}性质下，我们证明了序列具有有限长度从而收敛，并且我们驱动了它的收敛速度。
2021-07-03 math.OC
Primal Dual Interpretation of the Proximal Stochastic Gradient Langevin Algorithm
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
我们考虑对数凹概率分布的抽样任务。假设目标分布的势是复合的，\textit{i.e.}，写为光滑凸项和可能取无穷大值的非光滑凸项的和。目标分布可以被看作是在Wasserstein空间（\textit{i.e.}，概率测度的空间）上定义的库尔贝克-莱布勒散度的最小化。在本文的第一部分中，我们建立了这个极小化问题的一个强对偶结果。在本文的第二部分中，我们利用第一部分中提出的对偶间隙来研究近似随机梯度Langevin算法（PSGLA）的复杂性，PSGLA可以看作是投影Langevin算法的推广。我们的方法依赖于将PSGLA视为原始对偶算法，并涵盖了许多目标分布不完全支持的情况。特别是，我们表明，如果潜在的是强凸的，PSGLA的复杂性是$O(1/\varepsilon^2)$的2-瓦瑟斯坦距离。相比之下，投影朗之万算法的复杂性是$O(1/\varepsilon^{12})$的总变分时，潜在的凸。
2021-02-22 cs.LG math.OC stat.ML
A search-free $O(1/k^{3/2})$ homotopy inexact proximal-Newton extragradient algorithm for monotone variational inequalities
该研究提出一种基于同伦的无搜索不精确邻近牛顿外梯度算法，用于求解实希尔伯特空间中的光滑单调变分不等式，具备更优的迭代复杂度，且初步实验显示其性能优于部分已有邻近牛顿方案。
2024-04-14 math.OC
Accelerated Primal Dual Method for a Class of Saddle Point Problem with Strongly Convex Component
本文提出了一种简单的原始对偶方法DPD，它是求解一类具有或不具有强凸分支的鞍点问题的灵活框架。该方法有线性化形式LDPD和精确化形式EDPD。DPD的每次迭代通过简单的邻近映射顺序地更新对偶变量和原始变量，并通过外推来细化对偶变量。光滑或强凸原始分量的收敛性分析恢复了以前的最先进的结果，而强凸对偶分量的收敛性分析获得了原始对偶间隙的完全加速$O(1/k^2)$。通过对高斯噪声和椒盐噪声图像的全变差图像去模糊实验，证明了利用对偶分量的强凸性实现全变差加速的有效性。
2019-07-14 math.OC
A general inertial proximal point method for mixed variational inequality problem
本文首先提出了求解混合变分不等式（VI）问题的一种广义惯性邻近点方法。据我们所知，在没有更强假设的情况下，惯性型近点方法的收敛速度结果在文献中是未知的。在一定的条件下，我们能够建立所提出的一般惯性邻近点法的整体收敛和$o(1/k)$收敛速度结果（在一定的措施）。然后，我们表明，线性化的交替方向法的乘法器（ADMM）的可分离凸优化与线性约束是一个应用程序的一般邻近点法，提供了适当的算法参数选择。作为这一发现的副产品，我们建立了整体收敛和$O(1/k)$收敛速度结果的线性ADMM在遍历和非遍历意义。特别是，通过将混合VI的惯性邻近点方法应用于线性约束可分凸优化，我们得到了一个惯性版本的线性ADMM的整体收敛是有保证的。我们还证明了惯性外推步骤的效果，通过实验结果上的压缩主成分追踪问题。
2014-08-01 math.OC
high-order proximal point algorithm for the monotone variational inequality problem and its application
本文将求解单调变分不等式的PPA推广至p阶并证明O(1/k^(p/2))收敛速率，据此提出p阶ALM，并通过数值实验验证其性能。
2023-08-15 math.OC
Proximal extrapolated gradient methods with prediction and correction for monotone variational inequalities
针对希尔伯特空间中单调变分不等式，设计了一种基于近似梯度的有效方法--近似外推梯度法.所提出的方法扩展了可接受的参数范围，以获得更大的步长。该方法利用算子的局部信息预测步长，并通过线性插值修正步长，使其满足一个很弱的条件，该条件比生成序列的有界性更弱，且当算子是凸函数的梯度时，该条件始终成立.在较大的参数范围内，我们从理论上证明了它的收敛性和遍历收敛速度。此外，我们采用所提出的方法与非单调步长，提高了数值效率，并获得了步长相关的参数的上界通过一个非常简单的例子。相关的数值实验说明了更大的步长对效率的改善。
2019-12-04 math.OC
A Class of Randomized Primal-Dual Algorithms for Distributed Optimization
基于[Combettes，Pesquet，2014]中最近提出的随机块坐标向前-向后算法的预处理版本，设计了块坐标原始对偶法的几个变体，以解决各种单调包含问题。这些方法依赖于扫描块的变量，这些变量在每次迭代时根据随机规则被激活，并且它们允许在所涉及的操作符的评估中出现随机误差。然后，利用该框架推导出求解复合凸变分问题的块坐标原-对偶近似算法。所得到的算法实现可以用于降低计算复杂性和存储器需求。此外，我们表明，所提出的方法可用于开发新的异步分布式原始对偶法在多代理的上下文中。
2014-10-25 math.OC
Primal Methods for Constrained Variational Inequalities: Optimal Rates, Feasibility Trade-offs, and Lower Bounds
Tiangong University（天津工业大学）；University of Hertfordshire（赫特福德大学）；Sefako Makgatho Health Sciences University（塞法科·马卡托健康科学大学）；Zhejiang Normal University（浙江师范大学）；China Medical University（中国医科大学）；Academy of Romanian Scientists（罗马尼亚科学院）
本文提出约束变分不等式的原始方法理论，给出最优收敛速率、可行性权衡及下界，并设计OPCGM等算法达到最优复杂度。
2026-09-29 math.OC
Dual subgradient algorithms for large-scale nonsmooth learning problems
经典的一阶凸优化算法，如镜像下降算法或Nesterov光滑凸优化算法，具有不依赖于问题维数的最优（理论）复杂度估计。然而，为了达到最优，问题的域应该允许一个“好的近似设置”。后者本质上意味着1）问题域应满足“有利几何”的某些几何条件，以及2）这些方法的实际使用取决于我们在每次迭代时以适度成本计算{ \em邻近变换}的能力。在计算学习中出现的最优化问题中，这两个条件往往都得到满足，这就解释了为什么最近近端型FO方法成为解决各种学习问题的首选方法。然而，他们满足他们的限制，在几个重要的问题，如多任务学习与大量的任务，其中的问题域并没有表现出良好的几何形状，和学习和矩阵完成问题与核范数约束，当计算的数值成本接近变换成为大规模的问题。我们提出了一种新的方法来解决非光滑最优化问题中出现的学习应用程序中的Fenchel型表示的目标函数。该方法是基于应用FO算法的对偶问题，并使用{ \em精度证书}的方法来恢复原始的解决方案。虽然次优的准确性，所提出的方法并不依赖于“良好的邻近设置”的原始问题，但需要的问题域承认一个线性最优化预言-的能力，有效地最大限度地提高线性型域的原始问题。
2013-08-26 math.OC
A forward-backward view of some primal-dual optimization methods in image recovery
大量的图像恢复问题可以抽象为在希尔伯特空间中最小化复合凸函数之和的问题。为了解决这样的问题，原始-对偶邻近方法已经被开发，其为大规模最优化问题提供有效解。本文的目的是表明一些现有的算法可以从一个一般形式的向前向后算法应用在一个适当的积空间。我们的方法还允许我们通过引入可变度量来开发现有算法的有用扩展。最后给出了图像复原的实例。
2014-06-20 math.OC
A Proximal-Point Algorithm with Variable Sample-sizes (PPAWSS) for Monotone Stochastic Variational Inequality Problems
考虑闭凸集上具有连续单调映射的随机变分不等式问题。在强单调制度，我们提出了一个可变的样本大小平均计划（VS-Ave），实现了线性速率与最佳的预言复杂度。此外，迭代的复杂性显示出静音的条件数的依赖性相比，标准的方差减少投影计划。为了对付仅仅是单调的地图，我们开发的第一个邻近点法与可变样本量（PPAWSS），其中越来越精确的解决方案，强单调SVIs通过（VS-Ave）在每一步。这允许实现次线性收敛速度，其匹配针对确定性单调VI获得的收敛速度。初步的数值证据表明，该计划比较以及与竞争计划。
2019-09-30 math.OC
