Splitting Methods for Nonconvex Optimisation: Convergence and Saddle Point Avoidance Through Shadow Sequences
Centro de Modelamiento Matemático (CNRS IRL2807), Universidad de Chile（数学建模中心（CNRS IRL2807），智利大学）
本文提出阴影Davis-Yin三操作数分割方法用于非凸优化，通过效用函数分析和数值实验，实现了对弱凸半代数优化问题中严格鞍点的避免保证。
2026-10-01 math.OC
Tight Coefficients of Averaged Operators via Scaled Relative Graph
优化中的许多迭代法都是带有平均算子的不动点迭代。由于这些方法以$\mathcal{O}(1/k)$速率收敛，其中常数由平均系数确定，因此为算子建立小的平均系数具有广泛的意义。本文证明了Ogura和Yamada（Numer Func Anal Opt 32（1- 2）：113- 137，2002）的平均算子的合成的平均系数和Davis和Yin（Set-Valued Var Anal 25（4）：829- 858，2017）的三算子分裂的平均系数是紧的。该分析依赖于缩放相对图，这是Ryu，Hannah和Yin最近提出的一种几何工具（arXiv：1902.09788，2019）。
2020-04-27 math.OC
A four-operator splitting algorithm for nonconvex and nonsmooth optimization
本研究针对目标为两个光滑函数加两个非光滑函数之和的非凸非光滑优化问题，提出扩展Davis-Yin分裂的四算子分裂算法，证明其全局子序列收敛且平稳度量以1/T速率收敛，可支持更大步长，实验验证了其有效性。
2025-03-25 math.OC
On the convergence rate of the three operator splitting scheme
三算子分裂方案最近由[Davis and Yin，2015]提出，作为优化具有一个凸光滑项和两个凸（可能是非光滑）项的复合目标函数的方法，我们可以访问它们的邻近算子。在这个简短的说明中，我们提供了另一种证明这种方法的次线性收敛速度。
2021-06-25 math.OC stat.ML
Nonminimizing Attractors of Stochastic Subgradient Methods on Semialgebraic Functions
该研究否定了Davis等人2026年的猜想，构造了二维半代数函数，证明随机次梯度方法可收敛到非极小Clarke临界点，为相关算法收敛性分析提供了反例。
2026-10-09 math.OC
Finite-sample guarantees for data-driven operator splitting methods via martingale inequalities
KTH Royal Institute of Technology（皇家理工学院）；IMT School for Advanced Studies Lucca（卢卡高等研究院）
针对算子分裂方法中算子评估需近似的情形，利用鞅不等式为数据驱动Davis-Yin分裂算法建立无分布有限样本证书，并证明线性收敛下界随迭代次数指数衰减，在随机投资组合优化中验证。
2026-09-16 cs.SY eess.SY math.OC
On the convergence rate improvement of a splitting method for finding the resolvent of the sum of maximal monotone operators
本文提供了一种新的方法来发展分裂法，并用于求解希尔伯特空间中极大单调算子和的预解式问题。通过采用加速技术开发的戴维斯和尹（在集值变量。Anal. 25（4）：829-858，2017），本文提出了一种可实现的强收敛分裂方法，旨在解决该问题。特别是，我们证明了迭代序列和解之间的距离以O（1/k）的速率收敛到零，以说明所提出的方法的效率，其中k是迭代次数。然后，我们将所得结果应用于一类最优化问题。
2018-09-12 math.OC
A Three-Operator Splitting Scheme Derived from Three-Block ADMM
本研究提出一种由三块ADMM推导的新型三算子分裂方法，拓展了Douglas-Rachford分裂技术，数值测试显示其鲁棒性好、可支持大步长，且两函数定义域正交时任意正步长下均收敛。
2025-10-02 math.OC
Three Operator Splitting with a Nonconvex Loss Function
考虑三个函数之和的极小化问题，其中一个函数是非凸的但可微，另外两个函数是凸的但可能不可微。我们研究了Davis & Yin（2017）的三算子分裂方法（TOS），旨在扩展其对这个非凸问题模板的理论保证。特别是，我们证明了收敛的TOS与非渐近界的非平稳性和不可行的错误。与现有的非凸TOS的工作相比，我们的保证不需要额外的平滑性假设的条款，包括目标，因此，他们涵盖的情况下，特别感兴趣的不可微的条款是指示函数。我们还将我们的结果扩展到一个随机设置，我们只能获得一个无偏估计的梯度。最后，通过对二次指派问题的数值实验，说明了该方法的有效性。
2021-06-13 math.OC
Optimal Acceleration for Proximal Minimization of the Sum of Convex and Strongly Convex Functions
University of Washington（华盛顿大学）；University of California, Los Angeles（加州大学洛杉矶分校）；University of California, Berkeley（加州大学伯克利分校）
本文提出了一种加速方法FDR，改进了之前工作的常数，并证明了$\mathcal{O}(1/N^2)$收敛速率和FDR的主导常数都是最优的。
2026-05-20 math.OC
Three Operator Splitting with Subgradients, Stochastic Gradients, and Adaptive Learning Rates
三算子分裂（TOS）（Davis & Yin，2017）可以有效地最小化多个凸函数的和，当每个项都有一个有效的梯度预言或邻近算子时。这一要求在机器学习应用中经常失败：（i）代替全梯度，只有随机梯度可用;以及（ii）代替邻近算子，使用子梯度来处理复杂的罚函数可能更有效和现实。出于这些问题，我们分析了三个潜在的有价值的扩展TOS。前两个允许使用次梯度和随机梯度，并示出，以确保$\mathcal{O}(1/\sqrt{t})$收敛速度。第三个扩展AdapTOS赋予TOS自适应步长。对于优化凸集交集上的凸损失的重要设置，AdapTOS获得了通用的收敛速度，即，该速率适应于目标的未知平滑度。我们比较我们提出的方法与竞争的方法在各种应用程序。
2022-02-18 math.OC
A Monte Carlo Approach for Nonsmooth Convex Optimization via Proximal Splitting Algorithms
本文扩展了HJ-Prox这一零阶蒙特卡罗近端算子近似方法，证明其可无缝融入近端梯度下降等算子分裂算法中，并在温和条件下保持收敛性，从而扩大了非光滑凸优化方法的适用范围。
2025-09-15 math.OC
A three-operator splitting algorithm for nonconvex sparsity regularization
稀疏正则化在信号与图像处理、机器学习等领域有着广泛的应用。本文主要考虑三项非凸极小化问题，应用于稀疏信号恢复和低秩矩阵恢复。我们采用了一个三算子分裂提出的戴维斯和尹（称为DYS），以解决由此产生的可能非凸问题，并发展的收敛理论，这三个算子分裂算法在非凸的情况下。我们表明，如果选择的步长小于小于一个可计算的阈值，那么整个序列收敛到一个固定点。通过定义一个新的与DYS方法相关联的能量函数，在此能量函数为Kurdyka- $Ł$ ojasiewicz函数的条件下，我们证明了整个序列的整体收敛和局部收敛速度.我们还提供了生成序列有界性的充分条件。最后通过数值实验比较了DYS算法与一些经典的稀疏信号恢复和低秩矩阵完备化的有效算法。数值结果表明，DYS方法优于现有的方法，这些特定的应用。
2020-06-16 math.OC
A new three-operator splitting method for the monotone inclusion problem
Nanjing Normal University（南京师范大学）
本文提出一种统一的三操作子分裂算法，整合了Douglas-Rachford、反射前向后向和前向反射后向方法，并证明了其弱收敛性和子线性收敛性。
2026-05-13 math.OC
Operator Splitting with Hamilton-Jacobi-based Proximals
Rice University（莱斯大学）；University of Minnesota（明尼苏达大学）；Colorado School of Mines（科罗拉多矿业学院）
提出基于Hamilton-Jacobi近端算子（HJ-Prox）的统一算子分裂框架，使不可近端函数也能使用算子分裂算法，并证明在温和假设下收敛性保持，数值实验显示其在统计学习任务中的有效性。
2026-05-22 math.OC
Convergence analysis of a relaxed inertial alternating minimization algorithm with applications
乘子交替方向法是求解线性等式约束凸可分极小化问题的一种常用方法。将两块ADMM推广到三块ADMM并不是简单的，因为三块ADMM一般不收敛。已经开发了三块ADMM的许多变体，并保证收敛。交替极小化算法（AMA）是求解线性等式约束凸可分极小化问题的一种重要算法。AMA算法是由Tseng首先提出的，它等价于应用于相应对偶问题的前后向分裂算法。在本文中，我们设计了一个变种的三块AMA，这是通过采用惯性扩展的三算子分裂算法的对偶问题。与三分块ADMM相比，该算法的第一个子问题只需要最小化拉格朗日函数。作为副产品，我们得到了一个放松的戴维斯和尹算法。在对参数较弱的条件下，证明了算法在无限维希尔伯特空间中的收敛性.最后，我们进行了数值实验的稳定的主成分追踪（SPCP），以验证所提出的算法的效率和有效性。
2021-05-07 math.OC
A Unified Primal-Dual Recipe for Accelerating Three-Operator Splitting Methods
KAUST（阿卜杜拉国王科技大学）
提出一种统一的Bregman原对偶框架，通过Chambolle-Pock算法导出四种加速变体（ACV-I/II和APDTR-I/II），并利用Lyapunov分析建立光滑和非光滑情形下的迭代复杂度，消除了先前工作的限制性假设。
2026-05-26 math.OC
RandProx: Primal-Dual Optimization Algorithms with Randomized Proximal Updates
邻近分裂算法非常适合于解决大规模非光滑最优化问题，特别是机器学习中出现的问题。我们提出了一种新的原始对偶法，其中对偶更新是随机的，等价地，在问题中的函数之一的邻近算子被替换为随机预言。例如，在每次迭代中更新一些随机选择的对偶变量，而不是全部。或者，函数的邻近运算符仅以较小的概率被调用。一个非光滑的方差减少技术的实施，使算法找到一个确切的极小化的一般问题，涉及光滑和非光滑的功能，可能与线性算子组成。我们推导出线性收敛结果存在强凸性，这些结果是新的，即使在确定性的情况下，当我们的算法恢复到最近提出的原始-对偶戴维斯-尹算法。文献中的一些随机算法也被恢复为特定情况（例如，Point-SAGA）。但我们的随机化技术是通用的，包括许多超越采样和概率更新的无偏机制，包括压缩。由于收敛速度取决于原始和对偶收缩机制中最慢的一个，因此当使用随机性时，迭代复杂度可能保持不变。另一方面，可以显著降低计算复杂度。总的来说，随机性有助于获得更快的算法。这在随机梯度型算法中早已为人所知，我们的工作表明，这也完全适用于更一般的原始对偶设置。
2023-03-07 math.OC
Three-Operator Splitting Method with Two-Step Inertial Extrapolation
本文提出带两步惯性外推的 Davis–Yin 三算子分裂方法，在更弱条件下证明 Hilbert 空间中单调包含问题的弱收敛，并通过图像恢复与 SCAD 惩罚实验验证其加速优势。
2024-10-01 math.FA math.OC
Adaptive Three Operator Splitting
University of California at Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）；Mila - Université de Montréal（蒙特利尔大学 Mila）
我们提出并分析了一个自适应的步长变化的戴维斯-尹三算子分裂。这种方法可以解决由光滑项和任意多个潜在非光滑项组成的最优化问题，其中光滑项的梯度可由光滑项和任意多个潜在非光滑项组成，而非光滑项的邻近算子可由光滑项和非光滑项组成。所提出的方法基于目标的局部信息设置步长-因此允许更大的步长-每次迭代只需要两个额外的函数评估，并且除了初始估计之外不依赖于任何步长超参数。我们提供了一个迭代的复杂性分析，匹配最知名的结果为非自适应的变体：次线性收敛一般凸函数和线性收敛下的光滑项和光滑的近端条款之一的强凸性。最后，通过6个不同问题的计算结果与相关方法的比较，说明了该方法的计算优势。
2018-07-31 cs.LG math.OC
A short proof of near-linear convergence of adaptive gradient descent under fourth-order growth and convexity
Department of Statistics and Data Science, The Wharton School, University of Pennsylvania（统计与数据科学系，沃顿商学院，宾夕法尼亚大学）；Halicioğlu Data Science Institute, University of California, San Diego（Halicioğlu数据科学研究所，加州大学圣地亚哥分校）
本文通过Lyapunov方法证明了在四阶增长和凸性条件下，适应性梯度下降具有近线性收敛性，并提出更高效的变体算法。
2026-04-15 cs.LG math.OC stat.ML
Dualize, Split, Randomize: Toward Fast Nonsmooth Optimization Algorithms
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
考虑三个凸函数之和的极小化问题，其中第一个凸函数F是光滑的，第二个凸函数F是非光滑的且可逼近的，第三个凸函数F是非光滑的可逼近函数与一个线性算子L的复合.这个模板问题有许多应用，例如在图像处理和机器学习中。首先，我们提出了一个新的原始对偶法，我们称之为PDDY，这个问题。它是将Davis-Yin分裂应用于原始-对偶积空间中的单调包含而构造的，其中算子在依赖于L的特定度量下是单调的。我们表明，三个现有的算法（两种形式的Condat-Vu算法和PD 3 O算法）具有相同的结构，使PDDY是第四个缺失的环节，在这个自洽类的原始对偶法。这种表示简化了收敛性分析：它允许我们导出一般的次线性收敛速度，并且线性收敛结果存在强凸性。此外，在我们广泛而灵活的分析框架内，我们提出了算法的新随机概括，其中使用F梯度的方差减少的随机估计，而不是真实梯度。此外，我们得到，作为一个特殊的情况下PDDY，一个线性收敛算法的最小化强凸函数F下的线性约束，我们讨论了它的重要应用分散优化。
2022-07-26 cs.LG math.OC stat.ML
Distributed Optimization of Clique-Wise Coupled Problems via Three-Operator Splitting
本研究提出一种基于Davis-Yin分裂的团耦合分布式优化算法，统一了现有算法，并首次为带投影的DYS建立线性收敛速率，数值实验验证了其有效性。
2025-06-21 cs.SY eess.SY math.OC
Global convergence of an efficient splitting method for the defocusing Gross--Pitaevskii ground state problem
Purdue University（普渡大学）；University of Maryland（马里兰大学）
针对散焦Gross--Pitaevskii基态问题，提出基于Davis--Yin分裂的高效迭代格式，证明其全局收敛性，并在GPU上实现高效求解。
2026-09-15 cs.NA math.NA math.OC
Gradient flows and proximal splitting methods: A unified view on accelerated and stochastic optimization
优化是机器学习、统计学和许多应用科学学科的核心。它在物理学中也有很长的历史，从最小作用量原理到寻找无序系统的基态，如自旋玻璃。近似算法形成了一类广泛适用的方法，特别适合于非光滑、约束、大规模和分布式最优化问题。基本上有五个最近的算法目前已知：向前向后分裂，曾分裂，道格拉斯-Rachford，交替方向法的乘数，和最近的戴维斯-尹。与基于梯度的方法相比，这些方法具有更高的抽象层次，在非线性泛函分析中具有深厚的根基。我们证明了所有这些方法实际上都是单个微分方程的不同离散化，即可以追溯到柯西（1847）的简单梯度流。许多机器学习成功案例背后的一个重要方面依赖于“加速”一阶方法的收敛。我们表明，类似的离散化方案适用于牛顿方程的额外耗散力，我们称之为加速梯度流，使我们能够获得加速的变种，所有这些邻近的算法-其中大多数是新的，虽然一些恢复已知的情况下，在文献中。此外，我们将这些方法扩展到随机设置，使我们能够与朗之万和福克-普朗克方程的连接。类似的想法适用于梯度下降，重球和Nesterov的方法，它们更简单。因此，我们的结果提供了一个统一的框架，从几个重要的最优化方法是什么，但模拟经典耗散系统。
2021-05-10 cs.NA math.NA math.OC
