Optimal Leveraging of Smoothness and Strong Convexity for Peaceman--Rachford Splitting
Universidad Técnica Federico Santa María(智利联邦圣马利亚技术大学);Universidad de Concepción(康塞普西翁大学)
本文提出了一种通过优化强凸性和平滑性参数,改进Peaceman-Rachford分裂方案收敛速率的方法,并在图像处理中验证了其有效性。
2026-01-17 math.OC
Solution to a Monotone Inclusion Problem using the Relaxed Peaceman-Rachford Splitting Method: Convergence and its Rates
本文考虑了用松弛的Scheman-Rachford分裂方法求解单调包含问题$0 \in (A + B)(u)$的收敛性,其中$A, B: \Re^n \rightrightarrows \Re^n$是极大$β$ -强单调算子,$n \geq 1$和$β> 0$ .在一个技术假设下,证明了当$A$或$B$为单值且固定松弛参数$θ$位于区间$(2 + β, 2 + β+ \min \{ β, 1/β\})$内时,该方法迭代的收敛性.利用这个收敛结果,我们解决了[20]中关于$θ\in (2 + β, 2 + β+ \min \{ β, 1/β\})$的这些迭代的收敛性的未解决的公开问题。当$θ$位于区间$[2 + β, 2 + β+ \min \{ β, 1/β\})$内时,本文还给出了点态收敛速度和$R$ -线性收敛速度的结果。我们的分析,以实现这些结果是非典型的,因此新颖的。数值实验进行了加权Lasso极小化问题,以测试的有效性的假设。
2022-11-13 math.OC
HPR-QP: A dual Halpern Peaceman-Rachford method for solving large-scale convex composite quadratic programming
本文提出 HPR-QP 方法,通过受限 Wolfe 对偶、对称 Gauss-Seidel 更新、值域空间邻近算子及自适应重启策略,在 GPU 上显著提升大规模凸复合二次规划的求解速度与可扩展性。
2025-07-03 math.OC
Sparse Learning with Semi-Proximal-Based Strictly Contractive Peaceman-Rachford Splitting Method
在线性约束条件下,两个函数之和的最小化问题称为分裂问题。这种凸优化在机器学习问题中有着广泛的应用,如Lasso,Group Lasso和稀疏逻辑斯谛回归。Gu et al(2015)最近的一篇论文开发了一种基于半邻近的严格压缩的Scheman-Rachford分裂方法(SPB-SPRSM),它是He et al(2014)提出的严格压缩的Scheman-Rachford分裂方法(SPRSM)的扩展。SPB-SPRSM通过引入半邻近项和使用两种不同的松弛因子,与SPRSM和ADMM算法相比,尽管它们都有$O(1/t)$收敛速度,但SPB-SPRSM具有更灵活的适用性。在本文中,我们开发了一个随机版本的SPB-SPRSM算法,其中只有一个子集的样本(甚至一个样本)在每次迭代使用。由此产生的算法,随机SPB-SPRSM,是更灵活的比随机ADMM和其他ADMM为基础的算法在模拟和真实数据集。证明了$O(1/\sqrt{t})$算法在遍历意义下的收敛速度,这与随机ADMM算法在相同假设下的收敛速度是一致的。但如He等人(2014)所示,基于SPRSM的算法在应用中总是比ADMM收敛得更快,我们提出的算法也将保持这一优势。
2017-11-17 math.OC stat.CO
Distributed Optimization over Lossy Networks via Relaxed Peaceman-Rachford Splitting: a Robust ADMM Approach
本文针对有损通信网络下的多智能体分布式凸优化问题,提出基于广义 Peaceman-Rachford 分裂的松弛 ADMM 算法,并进一步给出实现更简单、复杂度更低的变体,首次在标准 ADMM 假设下实现有损通信时的收敛保证。
2018-09-26 math.OC
dHPR: A Distributed Halpern Peaceman--Rachford Method for Non-smooth Distributed Optimization Problems
本文针对非光滑分布式凸复合优化问题,提出分布式Halpern Peaceman--Rachford(dHPR)方法,通过对称Gauss--Seidel分解实现可并行的去中心化快速求解,经多类正则化优化任务实验验证其性能优越。
2025-11-13 cs.DC cs.MA math.OC
Peaceman-Rachford splitting for a class of nonconvex optimization problems
研究了PR分裂方法在求解非凸最优化问题中的适用性。当应用于最小化一个强凸Lipschitz可微函数和一个适当的封闭函数的总和时,我们表明,如果强凸函数具有足够大的强凸模和步长参数被选择低于一个阈值,这是可计算的,那么任何集群点的序列生成,如果存在,将给出一个稳定点的最优化问题。我们也给出了保证生成序列有界性的充分条件。然后,我们讨论了一种方法来分裂的目标,使所提出的方法可以适用于解决最优化问题的强制性目标是一个(不一定是强)凸Lipschitz可微函数和适当的封闭函数的总和,这种设置涵盖了一大类非凸可行性问题和约束最小二乘问题。最后,我们说明了所提出的算法数值。
2017-01-09 cs.NA math.NA math.OC
Douglas-Rachford splitting and ADMM for nonconvex optimization: tight convergence results
虽然最初设计和分析的凸问题,交替方向法的乘法器(ADMM)和它的近亲,道格拉斯-拉赫福德分裂(DRS)和道格拉斯曼-拉赫福德分裂(PRS),已被观察到表现非常好,当应用于某些类别的结构化非凸最优化问题。然而,部分整体收敛的结果,在非凸设置最近才出现。在本文中,我们展示了如何道格拉斯-Rachford包络(DRE),在2014年推出,可以用来统一和大大简化的理论,设计ADMM,DRS和PRS的整体收敛保证适用于非凸问题的限制条件较少,较大的步长和过松弛因子比以前已知的。事实上,当超松弛因子在$(0,2]$范围内时,我们的界是紧的. ADMM的分析使用了一个通用的原始等价与DRS,概括了已知的对偶算法。
2018-11-09 math.OC
Strongly nonexpansive mappings revisited: uniform monotonicity and operator splitting
非扩张映射类与极大单调算子类通过后者的反射预解式的对应关系在分裂方法的收敛性分析中起了重要作用。实际上,这些方法中的一些方法的性能,例如,Douglas-Rachford方法和Escheman-Rachford方法的关键在于迭代与各个算子相关的所谓分裂算子。这个分裂算子是基础算子的反射预解式的组合的函数。本文对一类一致单调算子及其相应的反射预解式进行了全面的研究。我们证明了后者与Bruck和Reich引入的强非扩张算子类密切相关。通过逆算子对偶的连接进行了系统的研究。我们提供了道格拉斯-Rachford方法和Escherman-Rachford方法的应用。给出了说明和加强我们结果的示例。
2022-05-18 math.FA math.OC
A note on the equivalence of operator splitting methods
本文全面讨论了分裂方法之间的等价性。过去几十年来,人们一直在研究这些等价关系,事实上,这些等价关系已被证明非常有用。在本文中,我们调查已知的结果,也提出了新的。特别是,我们提供了简化的ADMM和Douglas-Rachford方法的等价性和ADMM与中间更新的乘法器和Escherman-Rachford方法的等价性的证明。还考虑了其他分裂方法。
2018-06-08 math.OC
An Efficient HPR Algorithm for the Wasserstein Barycenter Problem with $O({Dim(P)}/\varepsilon)$ Computational Complexity
本文提出并分析了求解固定支撑下Wasserstein重心问题的一个有效的Halpern-Schumeman-Rachford(HPR)算法.虽然PR分裂方法本身对于求解WBP可能不收敛,但HPR算法可以实现关于KKT残差的$O(1/\varepsilon)$非遍历迭代复杂度。更有趣的是,我们提出了一个有效的程序与线性时间的计算复杂性来解决的线性系的HPR算法的子问题。因此,HPR算法在用于获得由WBP的KKT残差测量的$\varepsilon$最优解的触发器方面享有$O({\rm Dim(P)}/\varepsilon)$非遍历计算复杂性,其中${\rm Dim(P)}$是WBP的变量的维数。这比WBP最著名的复杂度界限要好。此外,大量的数值模拟结果的合成和真实的数据集证明了优越的性能的HPR算法求解大规模WBP。
2022-11-27 math.OC
Degenerate Preconditioned Proximal Point algorithms
本文描述了一个系统的方法来分析退化预条件邻近点法的收敛性。我们建立弱收敛的结果,可以很容易地在单调包含和凸极小化问题的分裂方法的背景下,在温和的假设。此外,我们表明,退化的预条件允许减少迭代更新中所涉及的变量。我们展示了所提出的框架在分裂算法的背景下的强度,提供了新的简化的收敛性证明,并突出了现有计划之间的联系,如Chambolle-Pock,前向道格拉斯-拉赫福德和Eschereman-拉赫福德,我们从预处理近点的角度研究。建议的框架允许设计新的灵活的计划,并提供了新的方法来推广现有的分裂计划的情况下,许多条款的总和。作为一个例子,我们提出了一个新的顺序推广的前向道格拉斯-Rachford随着数值实验,证明了它的兴趣的上下文中的非光滑凸优化。
2021-09-23 math.OC
Comparison of Proximal First-Order Primal and Primal-Dual algorithms via Performance Estimation
针对信号/图像处理任务中算法选择难题,基于性能估计框架自动计算最坏情况性能,比较并加强多种一阶原始及原始-对偶算法的收敛结果。
2024-03-15 math.OC
Bregman Douglas-Rachford Splitting Method
Rice University(里士大学);University of Iowa(爱荷华大学)
本文提出Bregman Douglas-Rachford分裂方法及其变体,用于求解极大单调包含问题,并证明其与Bregman ADMM等价,同时应用于离散最优传输问题,在特定假设下证明收敛。
2025-09-10 cs.LG math.OC stat.ML
Derivation and Analysis of the Primal-Dual Method of Multipliers Based on Monotone Operator Theory
在本文中,我们提出了一个新的推导现有的基于节点的算法,分布式优化称为原始对偶方法的乘数(PDMM)。与其最初的推导相反,在这项工作中,单调算子理论被用来连接PDMM与其他一阶方法,如道格拉斯-Rachford分裂和交替方向法的乘法器,从而提供洞察该计划的操作。特别是,我们展示了PDMM如何结合提升的对偶形式与Escheman-Rachford分裂,以消除每次迭代节点之间的协作需要。在强凸性和函数光滑性的假设下,我们给出了一般函数类强原收敛的充分条件,并引入了原几何收敛界.最后,我们介绍了一个分布式的几何收敛的情况下,参数选择的方法,只需要有限的传输,无论网络拓扑结构来实现。
2017-11-06 math.OC
Convergence rate analysis of primal-dual splitting schemes
原始-对偶分裂格式是一类求解复杂单调包含和凸优化问题的强有力的算法。他们分解的问题,建立从总和,线性组合,和infimal卷积的简单功能,使每个简单的条款是单独处理通过邻近映射,梯度映射,乘法的线性映射。这导致易于实现和高度并行化或分布式算法,通常获得接近最先进的性能。在本文中,我们分析了一个单调包含问题,捕获一个大类的原始对偶分裂作为一个特殊情况。我们引入了一个统一的计划,并使用一些抽象的算法分析,证明收敛速度的邻近点法,向前向后分裂,Cumberman-Rachford分裂,向前向后向前分裂模型的问题。我们的遍历收敛速度推导下的可变度量,步长,和松弛。我们的非遍历收敛速度是第一次在文献中。最后,我们将我们的结果应用到一个大类的原始对偶法,我们的计划是一个特殊的情况下,推导出他们的收敛速度。
2015-07-30 math.OC
Spanning and Splitting: Integer Semidefinite Programming for the Quadratic Minimum Spanning Tree Problem
针对二次最小生成树问题,本文提出基于图代数连通性的混合整数半定规划模型与强化双非负松弛,开发Peaceman-Rachford分裂法求解,所得界在质量和效率上均优于现有方法。
2025-11-07 math.OC