Optimal Leveraging of Smoothness and Strong Convexity for Peaceman--Rachford Splitting
Universidad Técnica Federico Santa María(智利联邦圣马利亚技术大学);Universidad de Concepción(康塞普西翁大学)
本文提出了一种通过优化强凸性和平滑性参数,改进Peaceman-Rachford分裂方案收敛速率的方法,并在图像处理中验证了其有效性。
2026-01-17 math.OC
Solution to a Monotone Inclusion Problem using the Relaxed Peaceman-Rachford Splitting Method: Convergence and its Rates
本文考虑了用松弛的Scheman-Rachford分裂方法求解单调包含问题$0 \in (A + B)(u)$的收敛性,其中$A, B: \Re^n \rightrightarrows \Re^n$是极大$β$ -强单调算子,$n \geq 1$和$β> 0$ .在一个技术假设下,证明了当$A$或$B$为单值且固定松弛参数$θ$位于区间$(2 + β, 2 + β+ \min \{ β, 1/β\})$内时,该方法迭代的收敛性.利用这个收敛结果,我们解决了[20]中关于$θ\in (2 + β, 2 + β+ \min \{ β, 1/β\})$的这些迭代的收敛性的未解决的公开问题。当$θ$位于区间$[2 + β, 2 + β+ \min \{ β, 1/β\})$内时,本文还给出了点态收敛速度和$R$ -线性收敛速度的结果。我们的分析,以实现这些结果是非典型的,因此新颖的。数值实验进行了加权Lasso极小化问题,以测试的有效性的假设。
2022-11-13 math.OC
HPR-QP: A dual Halpern Peaceman-Rachford method for solving large-scale convex composite quadratic programming
本文提出 HPR-QP 方法,通过受限 Wolfe 对偶、对称 Gauss-Seidel 更新、值域空间邻近算子及自适应重启策略,在 GPU 上显著提升大规模凸复合二次规划的求解速度与可扩展性。
2025-07-03 math.OC
Sparse Learning with Semi-Proximal-Based Strictly Contractive Peaceman-Rachford Splitting Method
在线性约束条件下,两个函数之和的最小化问题称为分裂问题。这种凸优化在机器学习问题中有着广泛的应用,如Lasso,Group Lasso和稀疏逻辑斯谛回归。Gu et al(2015)最近的一篇论文开发了一种基于半邻近的严格压缩的Scheman-Rachford分裂方法(SPB-SPRSM),它是He et al(2014)提出的严格压缩的Scheman-Rachford分裂方法(SPRSM)的扩展。SPB-SPRSM通过引入半邻近项和使用两种不同的松弛因子,与SPRSM和ADMM算法相比,尽管它们都有$O(1/t)$收敛速度,但SPB-SPRSM具有更灵活的适用性。在本文中,我们开发了一个随机版本的SPB-SPRSM算法,其中只有一个子集的样本(甚至一个样本)在每次迭代使用。由此产生的算法,随机SPB-SPRSM,是更灵活的比随机ADMM和其他ADMM为基础的算法在模拟和真实数据集。证明了$O(1/\sqrt{t})$算法在遍历意义下的收敛速度,这与随机ADMM算法在相同假设下的收敛速度是一致的。但如He等人(2014)所示,基于SPRSM的算法在应用中总是比ADMM收敛得更快,我们提出的算法也将保持这一优势。
2017-11-17 math.OC stat.CO
Distributed Optimization over Lossy Networks via Relaxed Peaceman-Rachford Splitting: a Robust ADMM Approach
本文针对有损通信网络下的多智能体分布式凸优化问题,提出基于广义 Peaceman-Rachford 分裂的松弛 ADMM 算法,并进一步给出实现更简单、复杂度更低的变体,首次在标准 ADMM 假设下实现有损通信时的收敛保证。
2018-09-26 math.OC
dHPR: A Distributed Halpern Peaceman--Rachford Method for Non-smooth Distributed Optimization Problems
The Hong Kong Polytechnic University(香港理工大学)
本文针对非光滑分布式凸复合优化问题,提出分布式Halpern Peaceman--Rachford(dHPR)方法,通过对称Gauss--Seidel分解实现可并行的去中心化快速求解,经多类正则化优化任务实验验证其性能优越。
2025-11-13 cs.DC cs.MA math.OC
Peaceman-Rachford splitting for a class of nonconvex optimization problems
研究了PR分裂方法在求解非凸最优化问题中的适用性。当应用于最小化一个强凸Lipschitz可微函数和一个适当的封闭函数的总和时,我们表明,如果强凸函数具有足够大的强凸模和步长参数被选择低于一个阈值,这是可计算的,那么任何集群点的序列生成,如果存在,将给出一个稳定点的最优化问题。我们也给出了保证生成序列有界性的充分条件。然后,我们讨论了一种方法来分裂的目标,使所提出的方法可以适用于解决最优化问题的强制性目标是一个(不一定是强)凸Lipschitz可微函数和适当的封闭函数的总和,这种设置涵盖了一大类非凸可行性问题和约束最小二乘问题。最后,我们说明了所提出的算法数值。
2017-01-09 cs.NA math.NA math.OC
Douglas-Rachford splitting and ADMM for nonconvex optimization: tight convergence results
虽然最初设计和分析的凸问题,交替方向法的乘法器(ADMM)和它的近亲,道格拉斯-拉赫福德分裂(DRS)和道格拉斯曼-拉赫福德分裂(PRS),已被观察到表现非常好,当应用于某些类别的结构化非凸最优化问题。然而,部分整体收敛的结果,在非凸设置最近才出现。在本文中,我们展示了如何道格拉斯-Rachford包络(DRE),在2014年推出,可以用来统一和大大简化的理论,设计ADMM,DRS和PRS的整体收敛保证适用于非凸问题的限制条件较少,较大的步长和过松弛因子比以前已知的。事实上,当超松弛因子在$(0,2]$范围内时,我们的界是紧的. ADMM的分析使用了一个通用的原始等价与DRS,概括了已知的对偶算法。
2018-11-09 math.OC
Strongly nonexpansive mappings revisited: uniform monotonicity and operator splitting
非扩张映射类与极大单调算子类通过后者的反射预解式的对应关系在分裂方法的收敛性分析中起了重要作用。实际上,这些方法中的一些方法的性能,例如,Douglas-Rachford方法和Escheman-Rachford方法的关键在于迭代与各个算子相关的所谓分裂算子。这个分裂算子是基础算子的反射预解式的组合的函数。本文对一类一致单调算子及其相应的反射预解式进行了全面的研究。我们证明了后者与Bruck和Reich引入的强非扩张算子类密切相关。通过逆算子对偶的连接进行了系统的研究。我们提供了道格拉斯-Rachford方法和Escherman-Rachford方法的应用。给出了说明和加强我们结果的示例。
2022-05-18 math.FA math.OC
A note on the equivalence of operator splitting methods
本文全面讨论了分裂方法之间的等价性。过去几十年来,人们一直在研究这些等价关系,事实上,这些等价关系已被证明非常有用。在本文中,我们调查已知的结果,也提出了新的。特别是,我们提供了简化的ADMM和Douglas-Rachford方法的等价性和ADMM与中间更新的乘法器和Escherman-Rachford方法的等价性的证明。还考虑了其他分裂方法。
2018-06-08 math.OC
An Efficient HPR Algorithm for the Wasserstein Barycenter Problem with $O({Dim(P)}/\varepsilon)$ Computational Complexity
本文提出并分析了求解固定支撑下Wasserstein重心问题的一个有效的Halpern-Schumeman-Rachford(HPR)算法.虽然PR分裂方法本身对于求解WBP可能不收敛,但HPR算法可以实现关于KKT残差的$O(1/\varepsilon)$非遍历迭代复杂度。更有趣的是,我们提出了一个有效的程序与线性时间的计算复杂性来解决的线性系的HPR算法的子问题。因此,HPR算法在用于获得由WBP的KKT残差测量的$\varepsilon$最优解的触发器方面享有$O({\rm Dim(P)}/\varepsilon)$非遍历计算复杂性,其中${\rm Dim(P)}$是WBP的变量的维数。这比WBP最著名的复杂度界限要好。此外,大量的数值模拟结果的合成和真实的数据集证明了优越的性能的HPR算法求解大规模WBP。
2022-11-27 math.OC
Degenerate Preconditioned Proximal Point algorithms
本文描述了一个系统的方法来分析退化预条件邻近点法的收敛性。我们建立弱收敛的结果,可以很容易地在单调包含和凸极小化问题的分裂方法的背景下,在温和的假设。此外,我们表明,退化的预条件允许减少迭代更新中所涉及的变量。我们展示了所提出的框架在分裂算法的背景下的强度,提供了新的简化的收敛性证明,并突出了现有计划之间的联系,如Chambolle-Pock,前向道格拉斯-拉赫福德和Eschereman-拉赫福德,我们从预处理近点的角度研究。建议的框架允许设计新的灵活的计划,并提供了新的方法来推广现有的分裂计划的情况下,许多条款的总和。作为一个例子,我们提出了一个新的顺序推广的前向道格拉斯-Rachford随着数值实验,证明了它的兴趣的上下文中的非光滑凸优化。
2021-09-23 math.OC
Comparison of Proximal First-Order Primal and Primal-Dual algorithms via Performance Estimation
针对信号/图像处理任务中算法选择难题,基于性能估计框架自动计算最坏情况性能,比较并加强多种一阶原始及原始-对偶算法的收敛结果。
2024-03-15 math.OC
Bregman Douglas-Rachford Splitting Method
Rice University(里士大学);University of Iowa(爱荷华大学)
本文提出Bregman Douglas-Rachford分裂方法及其变体,用于求解极大单调包含问题,并证明其与Bregman ADMM等价,同时应用于离散最优传输问题,在特定假设下证明收敛。
2025-09-10 cs.LG math.OC stat.ML
Theoretical and numerical comparison of first-order algorithms for cocoercive equations and smooth convex optimization
本文对求解光滑凸优化问题和余度方程的经典一阶分裂方法进行了理论和数值比较。从理论的角度来看,我们比较收敛速度的梯度下降,向前向后,Escheman-Rachford,和道格拉斯-Rachford算法的总和最小化两个光滑的凸函数时,其中之一是强凸的。类似的比较给出了在更一般的cocoercive设置下的强单调性的存在下,我们观察到的收敛速度在优化严格优于相应的速度cocoercive方程的一些算法。我们获得了改进的利率在几种情况下,利用我们的问题的结构与文献。此外,我们指出,该算法具有最低的收敛速度依赖于强凸性和coercive参数。从数值的角度来看,我们验证了我们的理论结果,通过实施和比较以前的算法在完善的信号和图像的稀疏性逆问题。我们取代了广泛使用的$\ell_1$规范与Huber损失,我们观察到,完全接近为基础的策略具有数值和理论上的优势,相对于使用梯度步骤的方法。
2022-07-14 math.OC
Characterizations of inexact proximal operators
本文研究不精确近 operator 的特性,探讨其正则性、近似能力及固定点,并分析误差情况下近算法的收敛性。
2026-02-02 math.OC
Asynchronous Distributed Optimization over Lossy Networks via Relaxed ADMM: Stability and Linear Convergence
在这项工作中,我们专注于最小化的凸费用函数的总和在一个分布式的方式在对等网络的问题。特别是,我们感兴趣的情况下,节点之间的通信容易失败,代理之间不同步。我们解决这个问题,提出了一个修改版本的放松ADMM,这对应于适用于对偶的Cumberman-Rachford分裂方法。利用算子理论的结果,我们能够证明所提出的算法的几乎必然收敛的通信损失和节点激活事件的分布的一般假设。通过进一步假设费用函数是强凸的,我们证明了算法平均线性收敛到最优解的一个邻域,并给出了算法收敛速度的一个上界.最后,我们提出了数值结果测试所提出的方法在不同的情况下。
2020-07-23 math.OC
Convergence rate analysis of primal-dual splitting schemes
原始-对偶分裂格式是一类求解复杂单调包含和凸优化问题的强有力的算法。他们分解的问题,建立从总和,线性组合,和infimal卷积的简单功能,使每个简单的条款是单独处理通过邻近映射,梯度映射,乘法的线性映射。这导致易于实现和高度并行化或分布式算法,通常获得接近最先进的性能。在本文中,我们分析了一个单调包含问题,捕获一个大类的原始对偶分裂作为一个特殊情况。我们引入了一个统一的计划,并使用一些抽象的算法分析,证明收敛速度的邻近点法,向前向后分裂,Cumberman-Rachford分裂,向前向后向前分裂模型的问题。我们的遍历收敛速度推导下的可变度量,步长,和松弛。我们的非遍历收敛速度是第一次在文献中。最后,我们将我们的结果应用到一个大类的原始对偶法,我们的计划是一个特殊的情况下,推导出他们的收敛速度。
2015-07-30 math.OC
Convergence rate analysis of several splitting schemes
分裂格式是一类求解复杂单调包含和凸优化问题的强有力的算法,这些问题是由许多简单的部分组成的。它们产生了算法,其中分解的简单片段被单独处理。这导致易于实现和高度并行化的算法,往往获得接近国家的最先进的性能。在本文的第一部分中,我们分析了几种一般分裂算法的收敛速度,并举例证明了我们的结果的严密性。本文证明了非扩张算子Krasnosel'skiet-Mann(KM)迭代的\emph{fixed-point residual}(FPR)的最一般速率,其中我们将已知的大- $O$速率改进为小- $o$ .我们证明了这个结果的严密性,并在几种特殊情况下改进了它。在本文的第二部分中,我们使用KM迭代的收敛速度来分析\emph{objective error}的收敛速度的道格拉斯-Rachford(DRS),Escheman-Rachford(PRS),ADMM分裂算法在一般的凸性假设。我们表明,通过例子,这些算法得到的速率是紧在所有情况下,并获得令人惊讶的声明:DRS算法是几乎一样快的邻近点法(PPA)在遍历的意义上,几乎一样慢的次梯度法在非遍历的意义上。最后,我们提供了几个应用程序的可行性问题,模型拟合和分布式优化。我们的分析是自包含的,大多数结果推导出一个基本引理,推导出收敛速度的可求和序列,一个简单的图,分解每个放松PRS迭代,和基本不等式的FPR的客观错误。
2015-05-15 math.OC
Spanning and Splitting: Integer Semidefinite Programming for the Quadratic Minimum Spanning Tree Problem
Delft University of Technology(代尔夫特理工大学);Tilburg University(蒂尔堡大学)
针对二次最小生成树问题,本文提出基于图代数连通性的混合整数半定规划模型与强化双非负松弛,开发Peaceman-Rachford分裂法求解,所得界在质量和效率上均优于现有方法。
2025-11-07 math.OC
HPR-LP: An implementation of an HPR method for solving linear programming
该研究实现带半邻近项的 HPR 线性规划求解器,通过自适应重启与惩罚参数更新提升性能,并在 GPU 实验中显著优于 PDLP。
2025-03-15 math.OC
OpReg-Boost: Learning to Accelerate Online Algorithms with Operator Regression
University of Padova(帕多瓦大学);ENSTA Paris(巴黎高等先进技术学院);Institut Polytechnique de Paris(巴黎理工学院);University of Colorado Boulder(科罗拉多大学博尔德分校)
本文提出了一种新的正则化方法--OpReg-Boost --以提高在线优化和学习算法的收敛性并减小其渐近误差。特别是,本文认为在线算法的优化问题随时间变化的(弱)凸复合成本。对于给定的在线算法,OpReg-Boost学习最接近的算法映射,产生线性收敛;为此,学习过程取决于算子回归的概念。我们将展示如何形式化的运营商回归问题,并提出了一个计算效率高,利用一个简单的二次约束二次规划(QCQP)的封闭形式的解决方案的Jumeman-Rachford求解器。仿真结果显示了OpReg-Boost w.r.t.更经典的前向-后向算法、FISTA和Anderson加速。
2022-04-04 cs.LG math.OC
A Partition-Based Implementation of the Relaxed ADMM for Distributed Convex Optimization over Lossy Networks
本文提出基于分区的松弛ADMM分布式算法,利用非扩张算子理论证明其对有损网络中随机丢包具有鲁棒性,并通过数值仿真验证了算法有效性。
2018-09-26 math.OC
An accelerated proximal PRS-SQP algorithm with dual ascent-descent procedures for smooth composite optimization
Guangxi Minzu University(广西民族大学);National University of Defense Technology(国防科技大学)
针对光滑复合优化,本文提出带对偶上升-下降过程和混合加速的近端PRS-SQP算法,统一ALDA与ALDD,并在KL框架下证明更广加速因子下的可行性与收敛速率。
2026-09-30 math.OC
Subspace correction as a general framework for convex optimization algorithms
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
该研究提出子空间校正为凸优化的算子分裂、交替投影等算法提供通用框架,通过对偶化机制推导相关算法并传递收敛估计,建立了算法间的关联与理论基础。
2026-08-21 cs.NA math.NA math.OC