On Convergence of Heuristics Based on Douglas-Rachford Splitting and ADMM to Minimize Convex Functions over Nonconvex Sets
近年来，基于Douglas-Rachford分裂算法和乘子的交替方向法（ADMM）的算法在非凸集上最小化凸函数方面取得了经验性的成功，但对它们的理论认识还没有得到很大的提高。在本文中，我们研究这些算法的收敛性。首先，我们刻画了非凸约束集上涉及凸费用函数的极小化问题的最优解。我们证明了这些最优解与非凸Douglas-Rachford算子的不动点集有关.其次，我们建立了Douglas-Rachford分裂启发式收敛于一个点或其聚点形成非空紧连通集的充分条件。在启发式收敛到一个点的情况下，我们建立了该点是最优解的充分条件。然后，我们讨论了如何ADMM启发式可以构造从道格拉斯-Rachford分裂算法。我们表明，不同于在凸的情况下，在我们的非凸设置的算法是不等价的，彼此之间有一个相当复杂的关系。最后，我们对ADMM启发式算法的收敛性进行了评论，并将其与Douglas-Rachford分裂启发式算法进行了比较。
2019-02-08 math.OC
A three-operator splitting algorithm for nonconvex sparsity regularization
稀疏正则化在信号与图像处理、机器学习等领域有着广泛的应用。本文主要考虑三项非凸极小化问题，应用于稀疏信号恢复和低秩矩阵恢复。我们采用了一个三算子分裂提出的戴维斯和尹（称为DYS），以解决由此产生的可能非凸问题，并发展的收敛理论，这三个算子分裂算法在非凸的情况下。我们表明，如果选择的步长小于小于一个可计算的阈值，那么整个序列收敛到一个固定点。通过定义一个新的与DYS方法相关联的能量函数，在此能量函数为Kurdyka- $Ł$ ojasiewicz函数的条件下，我们证明了整个序列的整体收敛和局部收敛速度.我们还提供了生成序列有界性的充分条件。最后通过数值实验比较了DYS算法与一些经典的稀疏信号恢复和低秩矩阵完备化的有效算法。数值结果表明，DYS方法优于现有的方法，这些特定的应用。
2020-06-16 math.OC
Cyclic Relaxed Douglas-Rachford Splitting for Inconsistent Nonconvex Feasibility
本文提出循环松弛 Douglas–Rachford 算法以处理非凸不相容可行性问题，刻画其不动点及影子与循环投影不动点的关系，并给出局部定量收敛条件。
2025-02-17 math.OC
A four-operator splitting algorithm for nonconvex and nonsmooth optimization
本研究针对目标为两个光滑函数加两个非光滑函数之和的非凸非光滑优化问题，提出扩展Davis-Yin分裂的四算子分裂算法，证明其全局子序列收敛且平稳度量以1/T速率收敛，可支持更大步长，实验验证了其有效性。
2025-03-25 math.OC
A relaxed version of Ryu's three-operator splitting method for structured nonconvex optimization
本文提出Ryu三算子分裂方法的松弛版本，用于结构化非凸优化，通过修改算法建立包络函数的充分下降性质，证明在步长足够小时全局子序列收敛到临界点。
2025-09-07 math.OC
Stochastic Three-Operator Splitting Algorithms for Nonconvex and Nonsmooth Optimization Arising from FLASH Radiotherapy
针对FLASH放射治疗产生的非凸与非光滑优化难题，提出随机三算子分裂（STOS）算法，在非凸框架下证明了多种梯度估计器下的收敛性，并通过患者治疗规划验证了其有效性。
2023-11-24 math.OC
Douglas-Rachford splitting and ADMM for nonconvex optimization: Accelerated and Newton-type linesearch algorithms
针对非凸优化中DRS和ADMM受病态条件与问题规模限制的问题，提出两种结合拟牛顿方向的线搜索算法，保留原收敛性且提升收敛速度与鲁棒性，采用Broyden方向可实现超线性收敛。
2021-11-03 math.OC
Splitting Methods for Nonconvex Optimisation: Convergence and Saddle Point Avoidance Through Shadow Sequences
Centro de Modelamiento Matemático (CNRS IRL2807), Universidad de Chile（数学建模中心（CNRS IRL2807），智利大学）
本文提出阴影Davis-Yin三操作数分割方法用于非凸优化，通过效用函数分析和数值实验，实现了对弱凸半代数优化问题中严格鞍点的避免保证。
2026-10-01 math.OC
An Incremental Path-Following Splitting Method for Linearly Constrained Nonconvex Nonsmooth Programs
问题2的不动点不是问题1的不动点。很抱歉，我们正在努力修复此错误。
2018-08-04 cs.LG math.OC
Doubly relaxed forward-Douglas--Rachford splitting for the sum of two nonconvex and a DC function
针对含一个DC函数的三项非凸非光滑优化问题，提出双重松弛前向-Douglas–Rachford分裂算法，证明稳定点收敛、序列收敛及迭代与目标值收敛速率，并在矩阵补全等任务中验证竞争力。
2025-06-09 math.OC
Nonconvex proximal splitting: batch and incremental algorithms
在unmanagerable大类的非凸优化，我们认为丰富的子类的非光滑问题，有复合目标-这已经包括广泛研究的凸，复合目标问题作为一个特例。对于这个子类，我们引入了一个强大的，新的框架，允许渐近非零扰动。特别是，我们开发了基于扰动的批处理和增量（在线）非凸邻近分裂算法。据我们所知，这是第一次，这样的扰动为基础的非凸分裂算法被提出和分析。虽然本文的主要贡献是理论框架，我们补充我们的研究结果，提出了一些实证结果矩阵分解。
2012-09-17 math.OC stat.ML
Monotone Splitting SQP Algorithms for Two-block Nonconvex Optimization Problems with General Linear Constraints and Applications
基于交替方向法法（ADMM）和序列二次规划（SQP）的思想，利用Armijo线搜索技术，讨论了带线性等式、不等式和框约束的两块非凸最优化问题的单调分裂SQP算法.首先，通过引入松弛变量，将所讨论的问题转化为一个只有线性等式和箱形约束的最优化问题。其次，利用ADMM的思想对二次规划（QP）子问题进行分解。特别地，引入松弛变量所对应的QP子问题简单，且在不增加计算量的情况下具有显式的最优解。第三，由子问题的最优解产生搜索方向，并利用增广拉格朗日函数进行Armijo线搜索，产生新的迭代点。并在较弱的假设条件下分析了算法的整体收敛性。此外，将盒约束推广到一般的非空闭凸集，并证明了相应算法的整体收敛性。最后给出了该算法在中大规模电力系统经济调度问题中的初步数值实验和应用结果，表明该算法具有良好的应用前景。
2023-01-30 math.OC
Douglas-Rachford splitting for nonconvex optimization with application to nonconvex feasibility problems
通过对一类非凸最优化问题的研究，将道格拉斯-拉彻福德（DR）分裂方法应用于求解非凸可行性问题.虽然凸问题的方法的收敛性已经得到了很好的研究，远少是已知的非凸设置。在本文中，直接适应的方法，以最小化一个适当的封闭功能$g$和一个光滑函数$f$与Lipschitz连续梯度的总和，我们证明了，如果步长参数小于一个可计算的阈值和产生的序列有一个集群点，那么它给出了一个稳定点的最优化问题。在$f$和$g$是半代数的假设下，证明了整个序列的收敛性和局部收敛速度.我们还给出了保证生成序列有界性的简单充分条件。然后，我们应用我们的非凸DR分裂方法找到一个点的交集的闭凸集$C$和一般的闭集$D$通过最小化的平方距离$C$受$D$。我们表明，如果任何一组是有界的，步长参数小于一个可计算的阈值，那么从DR分裂方法产生的序列实际上是有界的。因此，所生成的序列将具有对于最优化问题是固定的聚类点，并且在$C$和$D$是半代数的附加假设下，整个序列是收敛的。我们实现这些结果的基础上，一个新的价值函数构建的DR分裂方法。我们的初步数值结果表明，我们的DR分裂方法通常优于交替投影方法在寻找一个稀疏的解决方案的线性系，无论是解决方案的质量和迭代次数。
2015-11-05 math.OC stat.ML
Anderson Accelerated Operator Splitting Methods for Convex-nonconvex Regularized Problems
针对凸-非凸（CNC）正则化问题计算具挑战性且研究不足的问题，提出Anderson加速的算子分裂方法求解带CNC正则化的最小二乘问题，证明全局收敛性并展示实际加速效果。
2025-02-20 math.OC stat.CO
A Nonconvex Splitting Method for Symmetric Nonnegative Matrix Factorization: Convergence Analysis and Optimality
对称非负矩阵分解（SymNMF）在文档聚类、社区检测和图像分割等数据分析问题中有着重要的应用。在本文中，我们提出了一种新的非凸变量分裂方法求解SymNMF。该算法保证收敛到非凸SymNMF问题的Karush-Kuhn-Tucker（KKT）点集.此外，它实现了一个全球次线性收敛速度。我们还表明，该算法可以有效地实现并行。此外，充分条件提供了保证所获得的解决方案的全局和局部最优性。大量的数值模拟结果表明，该算法可以快速收敛到一个局部极小值解。
2017-03-24 math.OC stat.ML
Splitting methods with variable metric for KL functions
研究了希尔伯特空间中满足Kurdyka-Lojasiewicz不等式的下连续非凸函数f的一般抽象下降法的收敛性.我们证明了任何预紧序列收敛到f的临界点，并得到了新的值和迭代的收敛速度。该分析涵盖了具有可变度量和相对误差的前后向方法的交替版本。作为一个例子，详细介绍了Levenberg-Marquardt算法的一个非光滑非凸版本。
2014-07-07 math.OC
A proximal splitting algorithm for generalized DC programming with applications in signal recovery
本文针对一类广义差凸规划提出了一种近端分裂算法，利用近端求值和Douglas--Rachford分裂处理目标函数的不同部分，并在Kurdyka--Łojasiewicz性质下证明了全局收敛性及收敛速率，在信号恢复问题上表现出竞争力。
2025-05-28 math.OC
NESTT: A Nonconvex Primal-Dual Splitting Method for Distributed and Stochastic Optimization
Iowa State University（爱荷华州立大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Princeton University（普林斯顿大学）
我们研究了一个随机和分布式算法的非凸问题，其目标包括一个总和的$N$非凸$L_i/N$ -光滑函数，加上一个非光滑正则化。提出的NonconvEx原始-对偶分裂（NESTT）算法将问题分解为$N$子问题，并利用基于增广拉格朗日的原始-对偶方案以分布式和随机的方式求解。通过特殊的非均匀采样，NESTT的一个版本使用$\mathcal{O}((\sum_{i=1}^N\sqrt{L_i/N})^2/ε)$梯度评估来实现$ε$ -稳态解，其可以比（邻近的）梯度下降方法好$\mathcal{O}(N)$倍。对于带多面体约束的非凸二次$\ell_1$惩罚问题，也达到了Q-线性收敛速率.此外，我们揭示了原始对偶的方法和一些原始的方法，如IAG/SAG/SAGA之间的根本联系。
2016-11-07 cs.LG math.OC stat.ML
Anderson Acceleration for Nonconvex ADMM Based on Douglas-Rachford Splitting
交替方向乘子法（ADMM）是计算机图形学中求解非光滑非凸最优化问题的一种常用方法。它可以快速收敛到一个近似解，但可能需要很长时间才能收敛到一个高精度的解。以前，安德森加速已被应用到ADMM，通过治疗它作为一个固定点的迭代串联的对偶变量和一个子集的原始变量。在本文中，我们注意到ADMM和Douglas-Rachford分裂之间的等价性揭示了ADMM实际上是低维空间中的不动点迭代。通过将Anderson加速应用于这种低维不动点迭代，我们得到了一种更有效的加速ADMM的方法。我们分析了所提出的加速方法在非凸问题上的收敛性，并验证了其在各种计算机图形学问题，包括几何处理和物理模拟的有效性。
2020-06-26 cs.GR math.OC
Accelerated Plug-and-Play Davis-Yin Splitting for Nonconvex Image Reconstruction
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）
本文提出加速即插即用Davis-Yin分裂法，统一分析非凸图像重建问题，结合FISTA加速、线搜索与PnP去噪，实验验证其收敛性和重建质量。
2026-09-22 math.OC
A Sequential Operator-Splitting Framework for Exploration of Nonconvex Trajectory Optimization Solution Spaces
针对传统轨迹优化方法易收敛至初始猜测邻域局部解的问题，提出基于ADMM的序列算子分裂框架，在SCP框架内增强非凸解空间探索能力，仿真验证其可在同等或更少智能体下得到更优或同等成本的解。
2025-11-18 cs.SY eess.SY math.OC
Peaceman-Rachford splitting for a class of nonconvex optimization problems
研究了PR分裂方法在求解非凸最优化问题中的适用性。当应用于最小化一个强凸Lipschitz可微函数和一个适当的封闭函数的总和时，我们表明，如果强凸函数具有足够大的强凸模和步长参数被选择低于一个阈值，这是可计算的，那么任何集群点的序列生成，如果存在，将给出一个稳定点的最优化问题。我们也给出了保证生成序列有界性的充分条件。然后，我们讨论了一种方法来分裂的目标，使所提出的方法可以适用于解决最优化问题的强制性目标是一个（不一定是强）凸Lipschitz可微函数和适当的封闭函数的总和，这种设置涵盖了一大类非凸可行性问题和约束最小二乘问题。最后，我们说明了所提出的算法数值。
2017-01-09 cs.NA math.NA math.OC
Frank-Wolfe with Moreau Envelope Smoothing for Nonsmooth Nonconvex Problems
CentraleSupélec（中央苏佩莱克高等学院）；Università di Genova（热那亚大学）；James Madison University（詹姆斯麦迪逊大学）
提出 FRAMES 算法，通过 Moreau 包络迭代平滑后每步执行一次 Frank-Wolfe 步骤，解决非光滑非凸约束优化问题，证明收敛速率并改进先前分析。
2026-05-30 math.OC
A convexity preserving nonconvex regularization for inverse problems under non-Gaussian noise
该研究针对非高斯噪声下的线性回归逆问题，提出带非凸正则项的保凸模型，给出凸性与极小值存在的充分条件，设计收敛到全局最优的近端分裂算法，并在同步削波修复与去噪场景验证了非凸增强凸稀疏正则化器的有效性。
2025-09-03 math.OC
A preconditioned second-order convex splitting algorithm with extrapolation
School of Mathematics, Renmin University of China（中国人民大学数学学院）
本文提出了一种结合外推方法和预条件二阶凸分裂算法的非凸优化算法，通过隐式-显式方案提高效率，并在多个实验中验证了其高效性和竞争力。
2025-12-18 cs.NA math.NA math.OC
Block-Simultaneous Direction Method of Multipliers: A proximal primal-dual splitting algorithm for nonconvex problems with multiple constraints
Princeton University（普林斯顿大学）
我们引入了一个推广的线性化交替方向法的乘数，以优化一个实值函数$f$的多个参数与潜在的多个约束$g_\circ$对他们每个人。函数$f$可以是非凸的，只要它在每个参数上都是凸的，而约束$g_\circ$需要是凸的但不光滑。如果$f$是光滑的，建议的块同步方向乘子法（bSDMM）可以解释为一个近似的模拟不精确坐标下降法的约束。与多约束问题的联合求解器的替代方法不同，我们不要求约束函数$g(L\ \cdot)$的线性算子$L$是可逆的或彼此之间的链接。bSDMM非常适合于一系列最优化问题，特别是数据分析，其中$f$是模型的似然函数，而$L$可以是描述例如有限差分或基变换的变换矩阵。我们应用bSDMM的非负矩阵分解任务的高光谱分解问题，并证明收敛性和有效性的多个约束的两个矩阵因子。这些算法是用python实现的，并作为开源软件包发布。
2017-08-30 cs.CV cs.LG math.OC
Decentralized Douglas-Rachford splitting methods for smooth optimization over compact submanifolds
针对紧致子流形上的去中心化平滑优化问题，提出基于非凸 Douglas-Rachford 分裂、梯度跟踪与流形优化的 DDRS 及其非精确版本 iDDRS 算法，实现 O(1/K) 最佳收敛率并通过主成分分析实验验证其有效性。
2023-11-28 math.OC
Linearly Involved Generalized Moreau Enhanced Models and Their Proximal Splitting Algorithm under Overall Convexity Condition
由于向量的稀疏性或矩阵的低秩性，直接离散测度的凸包络已被广泛用作实际惩罚，以计算相应正则化最小二乘模型的全局最优解。主要受[Zhang'10，Selesnick'17，Yin，Parekh，Selesnick'19]中利用正则化最小二乘模型中的非凸罚而不损失其整体凸性的思想的启发，本文提出了线性涉及的广义Moreau增强（LiGME）模型作为非凸罚的这种利用的统一扩展。该模型可以在不损失整体凸性的情况下允许多个非凸惩罚，因此适用于稀疏秩感知信号处理中更广泛的场景。在LiGME模型的一般全局凸性条件下，我们还提出了一种新的保证收敛到全局最优解的邻近分裂型算法。在稀疏秩感知信号处理的典型例子中的数值实验证明了LiGME模型和所提出的邻近分裂算法的有效性。
2021-02-19 cs.NA math.NA math.OC
Global convergence of splitting methods for nonconvex composite optimization
University of New South Wales（新南威尔士大学）；the Hong Kong Polytechnic University（香港理工大学）；University of British Columbia（不列颠哥伦比亚大学）
本文研究了非凸复合优化问题，分析了交替方向乘子法和近端梯度算法的收敛性，证明了在特定条件下序列收敛于 stationary 点，并给出了保证序列有界的充分条件。
2015-11-04 cs.LG cs.NA math.NA
A DC Composite Optimization via Variable Smoothing for Robust Phase Retrieval with Nonconvex Loss Functions
Institute of Science Tokyo（东京科学大学）
本文提出一种基于优化的方法，用于鲁棒相位恢复问题，旨在从受异常值影响的二次测量中估计未知信号。通过引入能处理非凸损失函数的通用模型，提升了现有基于$\ell_1$损失函数的优化模型的鲁棒性。
2026-04-16 math.OC
An Efficient ADMM Method for Ratio-Type Nonconvex and Nonsmooth Minimization in Sparse Recovery
本文针对非凸非光滑的比率型稀疏恢复问题，提出了一种高效的ADMM方法，在理论上证明了收敛性，并通过实验验证了其在稀疏恢复和神经网络稀疏化中的优越性能。
2025-09-26 math.OC
Nonlinear Splitting for Gradient-Based Unconstrained and Adjoint Optimization
本文提出非线性分裂方法，将梯度或约束分裂为多自变量形式，并与 Nesterov、Anderson 加速结合，在非凸函数、量子层析成像和 PDE 约束优化中显著提升精度与效率。
2025-08-27 math.OC
Forward-backward envelope for the sum of two nonconvex functions: Further properties and nonmonotone line-search algorithms
我们提出了ZeroFPR，一个非单调线性算法，用于最小化两个非凸函数之和，其中一个是光滑的，另一个可能是非光滑的。ZeroFPR是第一个算法，尽管它适合于完全非凸问题，并且只需要向前向后分裂（FBS）的黑盒预言--即平滑项的梯度和非平滑项的邻近算子的评估--当线性方向满足Dennis-Moré条件时，在极限点的温和假设下实现超线性收敛速率，我们证明了这是拟牛顿方向的情况。我们的方法是基于前向-后向包络（FBE），一个精确的和严格连续的罚函数的原始成本。扩展以前的结果，我们表明，尽管是非光滑的完全非凸问题，FBE仍然享有良好的一阶和二阶属性，这是关键的收敛结果的ZeroFPR。我们的理论结果是支持有前途的数值模拟。在大规模问题上，通过使用有限内存拟牛顿更新计算线方向，我们的算法大大优于FBS及其加速变体（AFBS）。
2017-05-23 math.OC
A Bregman forward-backward linesearch algorithm for nonconvex composite optimization: superlinear convergence to nonisolated local minima
针对两个非凸函数之和的最小化问题，提出基于Bregman前后包络的线搜索算法Bella，可在KL条件下全局收敛到平稳点，且在非孤立极小点处也能实现超线性收敛。
2020-05-01 math.OC
The Boosted Double-Proximal Subgradient Algorithm for Nonconvex Optimization
本文提出BDSA算法解决一般结构化非光滑非凸优化问题，结合次梯度与近端步骤并集成线搜索，在Kurdyka--Lojasiewicz性质下证明收敛性并分析收敛速率，实验验证其逃离非最优临界点的能力及实际应用有效性。
2023-06-29 math.OC
A proximal minimization algorithm for structured nonconvex and nonsmooth problems
我们提出了一个最小化的目标函数由三个summands组成的近似算法：一个非光滑函数的组成与一个线性算子，另一个非光滑函数，每个非光滑的summands取决于一个独立的块变量，和一个光滑函数耦合的两个块变量。该算法是一种完全分裂方法，即非光滑函数通过其邻近算子处理，光滑函数通过梯度步长处理，线性算子通过矩阵乘向量处理。给出了生成序列有界性的充分条件，并证明了生成序列的任一聚点都是极小化问题的KKT点。在Kurdyka-Schojasiewicz性质下，证明了迭代的整体收敛，并得到了迭代的收敛速度.
2020-07-31 math.OC
Graphical Convergence of Subgradients in Nonconvex Optimization and Learning
Cornell University（康奈尔大学）；University of Washington（华盛顿大学）
本文研究了最小化种群风险的随机最优化问题，其中定义风险的损失假设是弱凸的。具有光滑映射的Lipschitz凸函数的合成是这种损失的主要例子。我们分析了估计质量的非光滑和非凸的问题，他们的样本平均近似。我们的主要结果建立了完全一般性的次梯度估计的维数依赖率和损失为广义线性模型时的维数无关率。作为所开发技术的应用，我们分析了鲁棒非线性回归问题的非光滑景观。
2018-12-17 cs.LG math.OC
Stochastic Optimization Schemes for Performative Prediction with Nonconvex Loss
本文首次研究非凸损失下表演性预测的随机优化，提出平稳表演性稳定解定义，分析SGD-GD及惰性部署方案的收敛性与偏差，并证明偏差与梯度方差和分布敏感性成正比。
2025-01-06 math.OC
Optimization of Inf-Convolution Regularized Nonconvex Composite Problems
Technical University of Munich（慕尼黑工业大学）
在这项工作中，我们考虑非凸复合问题，涉及下卷积与勒让德函数，这引起了各向异性的推广的邻近映射和Moreau包络。在一个凸的设置，这样的问题可以通过交替最小化的分裂公式，其中的共识约束是惩罚与勒让德函数来解决。相比之下，对于非凸模型，通常不清楚这种方法是否会产生下卷积问题的稳定点。为此，我们分析调查的Moreau包络函数的局部正则性下的正则性，这使我们能够建立分裂模型和原始的下卷积模型的稳定点之间的等价性。我们应用我们的理论来表征固定点的惩罚目标，这是最小化的弹性平均SGD（EASGD）方法进行分布式训练。在数值上，我们证明了所提出的方法在深度神经网络分布式训练这一重要任务上的实际相关性。
2019-03-27 cs.AI cs.LG math.OC
Splitting Proximal Point Algorithms for the Sum of Prox-Convex Functions
Great Bay University（大湾区大学）；Great Bay Institute for Advanced Study（大湾区高等研究院）；Instituto Federal do Piauí（皮奥伊联邦学院）；Universidad de Tarapacá（塔拉帕卡大学）；Electric Power University（电力大学）
本文提出两种分裂近端点算法用于求解近似凸函数和的最小化问题，并通过理论分析和实验验证了其收敛性与有效性。
2026-01-11 math.OC
A new semidefinite relaxation for $\ell_{1}$-constrained quadratic optimization and extensions
本文通过改进变量分裂方法，对$\ell_1$单位球（QPL 1）上的非凸二次最优化问题提出了一种新的半定规划（SDP）松弛方法。它主导了最先进的基于SDP的（QPL 1）边界。作为扩展，我们将新方法应用于稀疏主成分分析的松弛问题和$\ell_p$（$1< p<2$）单位球上的非凸二次最优化问题，并证明了新松弛方法的优势.
2013-12-31 math.OC
Efficient Learning with a Family of Nonconvex Regularizers by Redistributing Nonconvexity
Hong Kong University of Science and Technology（香港科技大学）
凸正则化器的使用允许容易的优化，尽管它们经常产生有偏的估计和较差的预测性能。近年来，非凸正则化子吸引了大量的关注，并优于凸正则化子。然而，由此产生的最优化问题要困难得多。在本文中，对于一个大类的非凸正则化，我们提出了移动的非凸性从正则化的损失。然后将非凸正则化子转化为常见的凸正则化子，同时仍能保证所得的损失函数是光滑的。使用凸正则化器的学习可以通过最初为凸正则化器设计的现有有效算法（例如近似算法、Frank-Wolfe算法、乘子的交替方向法和随机梯度下降）来执行。当凸化正则化子不具有封闭形式的邻近步长，并且当损失函数是非凸的、非光滑的时，进行了推广。在各种机器学习应用场景上的大量实验表明，优化转换后的问题比在原始问题上运行最先进的方法要快得多。
2017-02-13 cs.LG math.OC stat.ML
Fast Signal Recovery from Saturated Measurements by Linear Loss and Nonconvex Penalties
Institute of Image Processing and Pattern Recognition, Shanghai Jiao Tong University（上海交通大学图像处理与模式识别研究所）；University of Electronic Science and Technology of China（电子科技大学）；Michigan State University（密歇根州立大学）
符号信息是克服压缩感知系统中不可避免的饱和误差的关键，饱和误差会导致信息丢失，从而产生偏差。对于从饱和状态恢复稀疏信号，我们建议使用线性损失来提高现有方法的有效性，这些方法利用硬约束/铰链损失来实现符号一致性。由于线性损失的使用，得到了更新过程中的解析解，并且一些非凸惩罚是适用的，例如，最小最大凹罚、$\ell_0$范数和排序的$\ell_1$范数。理论分析表明，估计误差仍然是有界的。一般情况下，线性损失和非凸惩罚，恢复性能显着提高，并大大节省了计算时间，这是由数值实验验证。
2018-09-12 cs.IT cs.LG math.IT
Scalable Robust Matrix Factorization with Nonconvex Loss
Paradigm Inc.（第四范式）
本文提出使用非凸损失来增强鲁棒性，并通过改进的MM算法和对偶优化方法提高可扩展性，从而在准确性和可扩展性上优于现有方法。
2018-09-23 cs.NA math.NA math.OC
Phase retrieval via overparametrized nonconvex optimization: nonsmooth amplitude loss landscapes
CERMICS, CNRS, ENPC, Institut Polytechnique de Paris（法国国家科学研究中心，国立巴黎高等矿业学校，巴黎理工学院）
研究非凸优化在相位恢复及更一般的半正定低秩矩阵感知问题中的应用，分析过参数化非光滑幅度最小二乘损失的全局非凸景观及基于PhaseCut的平滑改写形式，证明在相位恢复中高概率景观保证。
2026-06-29 math.OC math.ST stat.TH
An Asynchronous Decentralised Optimisation Algorithm for Nonconvex Problems
Department of Electrical and Electronic Engineering, University of Melbourne（墨尔本大学电气与电子工程系）；CIICADA Lab, School of Engineering, The Australian National University（澳大利亚国立大学工程学院CIICADA实验室）
针对分布式智能体网络的非凸去中心化优化问题，提出基于随机块坐标Douglas-Rachford分裂的异步ADMM算法，是首个带收敛证明的此类算法，在相位恢复等任务中验证了有效性。
2025-07-30 cs.LG math.OC
Revisiting Lossless Convexification: Theoretical Guarantees for Discrete-time Optimal Control Problems
本文扩展无损凸化理论至离散时间最优控制，通过扰动与二分搜索分别处理正常与长时域情形，保证最优控制满足非凸约束，提升理论适用性。
2025-03-31 math.OC
TMAC: A Toolbox of Modern Async-Parallel, Coordinate, Splitting, and Stochastic Methods
TMAC是一个用C++11编写的工具箱，它实现了基于一组现代方法的大规模优化算法。它涵盖了各种各样的最优化问题，这些问题可以是光滑的和非光滑的，凸的和非凸的，以及有约束的和无约束的。在TMAC中实现的算法，如坐标更新方法和算子分裂方法，是可扩展的，因为它们将问题分解为简单的子问题。这些算法可以以多线程的方式同步或异步运行，以利用所有可用的内核。TMAC架构模仿科学家如何写下优化算法。因此，人们很容易通过简单的修改（例如添加新运算符和添加新分裂）来获得新算法，同时保持多核并行性和其他功能。该软件包可在https://github.com/uclaopt/TMAC上获得。
2016-06-14 math.OC
Generalization Error Bounds with Probabilistic Guarantee for SGD in Nonconvex Optimization
Duke University（杜克大学）；The Ohio State University（俄亥俄州立大学）；Microsoft Research, Asia（微软研究院亚洲研究院（微软亚洲研究院））
深度学习的成功使得人们对随机梯度下降（SGD）方法的推广特性越来越感兴趣，稳定性是研究SGD方法的一种常用方法，已有的基于稳定性的研究工作研究了非凸损失函数，但只考虑了SGD方法的推广误差。在本文中，我们建立了各种推广误差界的概率保证的SGD。具体来说，对于一般的非凸损失函数和梯度主导损失函数，我们的平均稳定性的随机梯度的平均方差的SGD生成的迭代。这样的特征导致改进的SGD的泛化误差的界限。然后，我们研究了具有强凸正则化的正则化风险最小化问题，得到了改进的推广误差界。利用强凸正则化子，我们进一步建立了具有高概率保证的近似SGD下非凸损失函数的推广误差界，即，概率的指数集中
2019-03-07 cs.LG math.OC stat.ML
Splitting Method for Support Vector Machine in Reproducing Kernel Banach Space with Lower Semi-continuous Loss Function
本文在再生核巴拿赫空间中，利用分裂方法求解具有下半连续损失函数的支持向量机。将再生核巴拿赫空间中具有较低半连续损失函数的支持向量机等价地转化为有限维张量优化问题，提出了基于乘子交替方向法的分裂方法。利用Kurdyka-Lojasiewicz不等式，证明了当损失函数为下半连续次解析函数时，该分裂方法得到的迭代序列全局收敛于一个稳定点.最后，通过数值实验验证了该方法的有效性.
2023-02-14 math.OC
A full splitting algorithm for fractional programs with structured numerators and denominators
针对分子、分母均含线性算子复合结构的非凸非光滑分式规划，提出自适应全分裂邻近次梯度算法，证明收敛性并以反例和仿真验证。
2025-03-15 math.OC
A Variable Splitting Augmented Lagrangian Approach to Linear Spectral Unmixing
本文提出了一种新的线性最小体积类高光谱解混方法，称为\emph{simplex identification via split augmented Lagrangian}（SISAL）。在Craig的开创性思想之后，高光谱线性分解相当于找到包含高光谱向量的最小体积单纯形。这是一个带有凸约束的非凸最优化问题。在该方法中，正性约束，迫使频谱矢量属于凸包的端元签名，被替换为软约束。所得到的问题是解决了一系列的增广拉格朗日优化。由此产生的算法是非常快的，能够解决的问题远远超出了目前的最先进的算法。仿真数据表明了SISAL的有效性。
2009-04-29 math.OC
The Intrinsic Riemannian Proximal Gradient Method for Nonconvex Optimization
Norwegian University of Science and Technology（挪威科技大学）；RWTH Aachen University（亚琛工业大学）；Universität Potsdam（波茨坦大学）
研究非凸优化问题，提出黎曼流形上近端梯度法的内在变体，该方法基于前向后分裂，使用流形上近端映射，无需嵌入，研究了收敛性质并展示其在非凸或非嵌入问题上的数值性能。
2026-07-16 cs.NA math.DG math.NA
A sparse semismooth Newton based proximal majorization-minimization algorithm for nonconvex square-root-loss regression problems
Zhejiang University City College（浙大城市学院）；Southwest Jiaotong University（西南交通大学）；The Hong Kong Polytechnic University（香港理工大学）；National University of Singapore（新加坡国立大学）
本文考虑高维非凸平方根损失回归问题，并提出了一种近似优化最小化算法。我们的关键思想，使建议的PMM是有效的是开发一个稀疏半光滑牛顿方法来解决相应的子问题。利用下划线问题中的Kurdyka-Schojasiewicz性质，证明了PMM算法收敛于d-平稳点.我们还分析了算法中初始子问题的预言性质。大量的数值实验证明了所提出的PMM算法的高效率。
2020-05-27 cs.LG cs.NA math.NA
