Tight Coefficients of Averaged Operators via Scaled Relative Graph
优化中的许多迭代法都是带有平均算子的不动点迭代。由于这些方法以$\mathcal{O}(1/k)$速率收敛,其中常数由平均系数确定,因此为算子建立小的平均系数具有广泛的意义。本文证明了Ogura和Yamada(Numer Func Anal Opt 32(1- 2):113- 137,2002)的平均算子的合成的平均系数和Davis和Yin(Set-Valued Var Anal 25(4):829- 858,2017)的三算子分裂的平均系数是紧的。该分析依赖于缩放相对图,这是Ryu,Hannah和Yin最近提出的一种几何工具(arXiv:1902.09788,2019)。
2020-04-27 math.OC
Splitting Methods for Nonconvex Optimisation: Convergence and Saddle Point Avoidance Through Shadow Sequences
Centro de Modelamiento Matemático (CNRS IRL2807), Universidad de Chile(数学建模中心(CNRS IRL2807),智利大学)
本文提出阴影Davis-Yin三操作数分割方法用于非凸优化,通过效用函数分析和数值实验,实现了对弱凸半代数优化问题中严格鞍点的避免保证。
2026-10-01 math.OC
On the convergence rate of the three operator splitting scheme
三算子分裂方案最近由[Davis and Yin,2015]提出,作为优化具有一个凸光滑项和两个凸(可能是非光滑)项的复合目标函数的方法,我们可以访问它们的邻近算子。在这个简短的说明中,我们提供了另一种证明这种方法的次线性收敛速度。
2021-06-25 math.OC stat.ML
Finite-sample guarantees for data-driven operator splitting methods via martingale inequalities
KTH Royal Institute of Technology(皇家理工学院);IMT School for Advanced Studies Lucca(卢卡高等研究院)
针对算子分裂方法中算子评估需近似的情形,利用鞅不等式为数据驱动Davis-Yin分裂算法建立无分布有限样本证书,并证明线性收敛下界随迭代次数指数衰减,在随机投资组合优化中验证。
2026-09-16 cs.SY eess.SY math.OC
On the convergence rate improvement of a splitting method for finding the resolvent of the sum of maximal monotone operators
本文提供了一种新的方法来发展分裂法,并用于求解希尔伯特空间中极大单调算子和的预解式问题。通过采用加速技术开发的戴维斯和尹(在集值变量。Anal. 25(4):829-858,2017),本文提出了一种可实现的强收敛分裂方法,旨在解决该问题。特别是,我们证明了迭代序列和解之间的距离以O(1/k)的速率收敛到零,以说明所提出的方法的效率,其中k是迭代次数。然后,我们将所得结果应用于一类最优化问题。
2018-09-12 math.OC
A Three-Operator Splitting Scheme Derived from Three-Block ADMM
Indian Institute of Technology (Banaras Hindu University)(印度技术学院(贝拿勒斯印度教大学));Purdue University(普渡大学)
本研究提出一种由三块ADMM推导的新型三算子分裂方法,拓展了Douglas-Rachford分裂技术,数值测试显示其鲁棒性好、可支持大步长,且两函数定义域正交时任意正步长下均收敛。
2025-10-02 math.OC
Three Operator Splitting with a Nonconvex Loss Function
考虑三个函数之和的极小化问题,其中一个函数是非凸的但可微,另外两个函数是凸的但可能不可微。我们研究了Davis & Yin(2017)的三算子分裂方法(TOS),旨在扩展其对这个非凸问题模板的理论保证。特别是,我们证明了收敛的TOS与非渐近界的非平稳性和不可行的错误。与现有的非凸TOS的工作相比,我们的保证不需要额外的平滑性假设的条款,包括目标,因此,他们涵盖的情况下,特别感兴趣的不可微的条款是指示函数。我们还将我们的结果扩展到一个随机设置,我们只能获得一个无偏估计的梯度。最后,通过对二次指派问题的数值实验,说明了该方法的有效性。
2021-06-13 math.OC
Scaled Relative Graphs in Normed Spaces
University of British Columbia(不列颠哥伦比亚大学)
本文将Ryu等人在希尔伯特空间中的缩放相对图框架扩展到规范空间,引入非对称的正则配对,产生方向角和方向SRG,证明其能验证关键算子性质,并推导了缩放、逆、加法和组合的SRG计算规则。
2026-09-22 cs.SY eess.SY math.OC
Three Operator Splitting with Subgradients, Stochastic Gradients, and Adaptive Learning Rates
三算子分裂(TOS)(Davis & Yin,2017)可以有效地最小化多个凸函数的和,当每个项都有一个有效的梯度预言或邻近算子时。这一要求在机器学习应用中经常失败:(i)代替全梯度,只有随机梯度可用;以及(ii)代替邻近算子,使用子梯度来处理复杂的罚函数可能更有效和现实。出于这些问题,我们分析了三个潜在的有价值的扩展TOS。前两个允许使用次梯度和随机梯度,并示出,以确保$\mathcal{O}(1/\sqrt{t})$收敛速度。第三个扩展AdapTOS赋予TOS自适应步长。对于优化凸集交集上的凸损失的重要设置,AdapTOS获得了通用的收敛速度,即,该速率适应于目标的未知平滑度。我们比较我们提出的方法与竞争的方法在各种应用程序。
2022-02-18 math.OC
A Monte Carlo Approach for Nonsmooth Convex Optimization via Proximal Splitting Algorithms
Rice University(莱斯大学);University of Minnesota(明尼苏达大学);Colorado School of Mines(科罗拉多矿业学院)
本文扩展了HJ-Prox这一零阶蒙特卡罗近端算子近似方法,证明其可无缝融入近端梯度下降等算子分裂算法中,并在温和条件下保持收敛性,从而扩大了非光滑凸优化方法的适用范围。
2025-09-15 math.OC
A four-operator splitting algorithm for nonconvex and nonsmooth optimization
本研究针对目标为两个光滑函数加两个非光滑函数之和的非凸非光滑优化问题,提出扩展Davis-Yin分裂的四算子分裂算法,证明其全局子序列收敛且平稳度量以1/T速率收敛,可支持更大步长,实验验证了其有效性。
2025-03-25 math.OC
A three-operator splitting algorithm for nonconvex sparsity regularization
稀疏正则化在信号与图像处理、机器学习等领域有着广泛的应用。本文主要考虑三项非凸极小化问题,应用于稀疏信号恢复和低秩矩阵恢复。我们采用了一个三算子分裂提出的戴维斯和尹(称为DYS),以解决由此产生的可能非凸问题,并发展的收敛理论,这三个算子分裂算法在非凸的情况下。我们表明,如果选择的步长小于小于一个可计算的阈值,那么整个序列收敛到一个固定点。通过定义一个新的与DYS方法相关联的能量函数,在此能量函数为Kurdyka- $Ł$ ojasiewicz函数的条件下,我们证明了整个序列的整体收敛和局部收敛速度.我们还提供了生成序列有界性的充分条件。最后通过数值实验比较了DYS算法与一些经典的稀疏信号恢复和低秩矩阵完备化的有效算法。数值结果表明,DYS方法优于现有的方法,这些特定的应用。
2020-06-16 math.OC
Operator Splitting with Hamilton-Jacobi-based Proximals
Rice University(莱斯大学);University of Minnesota(明尼苏达大学);Colorado School of Mines(科罗拉多矿业学院)
提出基于Hamilton-Jacobi近端算子(HJ-Prox)的统一算子分裂框架,使不可近端函数也能使用算子分裂算法,并证明在温和假设下收敛性保持,数值实验显示其在统计学习任务中的有效性。
2026-05-22 math.OC
A new three-operator splitting method for the monotone inclusion problem
Nanjing Normal University(南京师范大学)
本文提出一种统一的三操作子分裂算法,整合了Douglas-Rachford、反射前向后向和前向反射后向方法,并证明了其弱收敛性和子线性收敛性。
2026-05-13 math.OC
A Unified Primal-Dual Recipe for Accelerating Three-Operator Splitting Methods
KAUST(阿卜杜拉国王科技大学)
提出一种统一的Bregman原对偶框架,通过Chambolle-Pock算法导出四种加速变体(ACV-I/II和APDTR-I/II),并利用Lyapunov分析建立光滑和非光滑情形下的迭代复杂度,消除了先前工作的限制性假设。
2026-05-26 math.OC
Three-Operator Splitting Method with Two-Step Inertial Extrapolation
本文提出带两步惯性外推的 Davis–Yin 三算子分裂方法,在更弱条件下证明 Hilbert 空间中单调包含问题的弱收敛,并通过图像恢复与 SCAD 惩罚实验验证其加速优势。
2024-10-01 math.FA math.OC
Adaptive Three Operator Splitting
University of California at Berkeley(加州大学伯克利分校);ETH Zurich(苏黎世联邦理工学院);Mila - Université de Montréal(蒙特利尔大学 Mila)
我们提出并分析了一个自适应的步长变化的戴维斯-尹三算子分裂。这种方法可以解决由光滑项和任意多个潜在非光滑项组成的最优化问题,其中光滑项的梯度可由光滑项和任意多个潜在非光滑项组成,而非光滑项的邻近算子可由光滑项和非光滑项组成。所提出的方法基于目标的局部信息设置步长-因此允许更大的步长-每次迭代只需要两个额外的函数评估,并且除了初始估计之外不依赖于任何步长超参数。我们提供了一个迭代的复杂性分析,匹配最知名的结果为非自适应的变体:次线性收敛一般凸函数和线性收敛下的光滑项和光滑的近端条款之一的强凸性。最后,通过6个不同问题的计算结果与相关方法的比较,说明了该方法的计算优势。
2018-07-31 cs.LG math.OC
Distributed Optimization of Clique-Wise Coupled Problems via Three-Operator Splitting
本研究提出一种基于Davis-Yin分裂的团耦合分布式优化算法,统一了现有算法,并首次为带投影的DYS建立线性收敛速率,数值实验验证了其有效性。
2025-06-21 cs.SY eess.SY math.OC
Global convergence of an efficient splitting method for the defocusing Gross--Pitaevskii ground state problem
Purdue University(普渡大学);University of Maryland(马里兰大学)
针对散焦Gross--Pitaevskii基态问题,提出基于Davis--Yin分裂的高效迭代格式,证明其全局收敛性,并在GPU上实现高效求解。
2026-09-15 cs.NA math.NA math.OC