On the Regularization of Primal-Dual Dynamics in Time-Dependent Nonconvex Optimization
School of Science and Technology, IE University（IE大学科学与技术学院）；Department of Mechanical and Aerospace Engineering, University of California San Diego（加州大学圣地亚哥分校机械与航空航天工程系）
该研究针对时变非凸优化问题，分析原对偶动力学的正则化，提出相关方法并通过交通信号实验验证其效果。
2026-10-15 math.OC
A smoothed proximal trust-region algorithm for nonconvex optimization problems with $L^p$-regularization, $p\in (0,1)$
本文针对$p\in(0,1)$的$L^p$-正则化非凸优化问题，提出一种基于广义柯西点和光滑近似的近端信赖域算法，并证明了收敛性及数值有效性。
2025-08-21 math.OC
Nonconvex flexible sparsity regularization: theory and monotone numerical schemes
灵活的稀疏正则化是指通过使用系数相关的惩罚来稳定地逼近算子方程的稀疏解。我们提出并分析了一个一般的非凸方法在这方面，从理论和数值的角度。也就是说，我们证明了正则化方法的收敛性，并建立了相关非凸问题的几个优化方法的收敛性。我们还测试了一个单调算法的一个学术的例子，其中运营商是一个$M$矩阵，并在一个时间相关的最优控制问题，指出采用可变罚款的优点，固定的罚款。
2021-11-11 cs.NA math.AP math.NA
Adaptive Regularization for Nonconvex Optimization Using Inexact Function Values and Randomly Perturbed Derivatives
提出了一种允许导数中存在随机噪声和不精确函数值的正则化算法，用于计算光滑无约束优化问题的任意阶近似局部临界点。对于具有Lipschitz连续$p$阶导数的目标函数，给定任意的最优阶$q \leq p$，证明了该算法在期望范围内，只要$q\in\{1,2\}$，至多在$f$及其导数的$O\left(\left(\min_{j\in\{1,\ldots,q\}}ε_j\right)^{-\frac{p+1}{p-q+1}}\right)$不精确估计中计算出这样一个点，其中$ε_j$是$j$阶精度的容差.如果$q>2$和所有导数是Lipschitz连续的，则该界至多变为$O\left(\left(\min_{j\in\{1,\ldots,q\}}ε_j\right)^{-\frac{q(p+1)}{p}}\right)$不精确求值。此外，这些界限是尖锐的精度公差的顺序。凸约束问题的扩展也概述。
2021-04-06 math.OC
A difference of convex functions approach for sparse pde optimal control problems with nonconvex costs
我们提出了一个局部正则化的椭圆最优控制问题，其中涉及非凸$L^q$分数惩罚的费用函数。建议的\emph{Huber type}正则化允许我们制定的PDE约束优化制定为DC规划问题（凸函数的差异），这是有用的，以获得必要的最优性条件，并通过应用在非凸最优化问题中使用的众所周知的DC算法来解决其数值解。通过这个过程，我们近似的参数化问题，有有效的数值方法可用的一致的家庭的原始问题。最后，我们提出了数值实验来说明我们的理论与不同的配置相关联的参数的问题。
2019-04-20 math.OC
A proximal gradient method for control problems with nonsmooth and nonconvex control cost
研究了一种近似梯度法在非光滑非凸控制问题中的收敛性。在这里，我们专注于控制成本泛函，促进稀疏性，其中包括泛函的$L^p$型$p\in [0,1)$。我们证明了该方法的弱极限点的平稳性。这些性质弱于庞特里亚金的最大值原理和弱于$L$ -平稳性。
2020-07-22 math.OC
Tensor Robust Principal Component Analysis: Better recovery with atomic norm regularization
研究了基于原子范数正则化的张量鲁棒主成分分析（RPCA）。鉴于稀疏和低秩张量的叠加，我们提出的条件下，它是可能的，以准确地恢复稀疏和低秩组件。我们的研究结果改善了现有的性能保证张量RPCA，包括矩阵RPCA。我们的保证还表明，原子范数正则化比其他基于矩阵化的方法更好地恢复张量结构数据集。除了这些性能保证，我们研究了张量原子范数的非凸公式，并确定了这类非凸程序的局部极小值是全局最优的。我们证明了我们的方法在数值实验中的强大性能，在那里我们表明，我们的非凸模型可靠地恢复张量的秩大于其所有的边长，显着优于其他算法，需要矩阵化。
2019-01-30 math.OC
Adaptive Regularization within Trust Region Methods for Stochastic Nonconvex Optimization
本文提出了一种随机非凸优化算法，通过改进的自适应采样信任区域优化方法（Reg-ASTRO）实现了几乎确定性的迭代复杂度，优于传统一阶方法。
2026-04-29 math.OC
A class of null space conditions for sparse recovery via nonconvex, non-separable minimizations
对于稀疏恢复问题，非凸极小化在提高解的稀疏性方面优于$\ell_1$罚函数，这一点已被广泛接受。然而，到目前为止，理论验证，非凸处罚优于（或至少一样好）$\ell_1$最小化的精确，均匀的恢复主要限于可分离的情况下。在本文中，我们建立了一般的恢复保证，通过零空间条件的非凸，不可分的正则化，这是稍微低于要求的标准零空间属性$\ell_1$最小化。
2019-02-14 math.OC
A Penalty Decomposition Algorithm with Greedy Improvement for Mean-Reverting Portfolios with Sparsity and Volatility Constraints
在金融市场中，资产较少但方差较大的均值回归投资组合引起了投资者的极大兴趣。这样的投资组合是直接有利可图的，因为它们包括少量的资产，这些资产的价格不仅在长期均值附近可预测地波动，而且还具有足够的波动性。粗略地说，稀疏性使交易成本最小化，波动性提供套利机会，而均值回归属性为投资者提供了理想的投资策略。找到这样的有利的投资组合可以制定为一个非凸二次最优化问题与一个额外的稀疏约束。据我们所知，还没有解决这个问题并具有良好理论性质的方法。在本文中，我们开发了一个有效的两阶段算法解决这个问题。在第一阶段，我们应用一个定制的惩罚分解方法找到这个非凸问题的一个稳定点。对于固定的罚参数，利用块坐标下降法找到相应惩罚子问题的不动点。在第二阶段，我们通过一个贪婪的计划，解决限制非凸二次约束二次规划（QCQP），改善了第一阶段的结果。我们表明，这样的QCQP的最优值可以通过解决他们的半定松弛。最后，通过对S&P500指数的数值实验，验证了该算法的有效性.
2021-04-16 math.OC
Hand Gesture Recognition Based on a Nonconvex Regularization
University of Kentucky（肯塔基大学）
手势识别是人机交互中最基本的任务之一。基于稀疏表示的方法由于其效率高和对训练数据要求低而得到广泛应用。最近，在图像处理界已经提出了包括$\ell_{1-2}$正则化的非凸正则化技术，以在实现有效性能的同时促进稀疏性。本文提出了一种基于$\ell_{1-2}$正则化的视觉手势识别模型，并用交替方向乘法（ADMM）求解。在二值和灰度数据集上的数值实验证明了该方法在手势识别中的有效性。
2022-04-25 cs.CV cs.LG math.OC
Enhanced Sparsity by Non-Separable Regularization
本文提出了一种稀疏一维反褶积的凸方法，改进了L1范数正则化，标准的凸方法。为此，我们提出了一个稀疏诱导的不可分离非凸二元罚函数。它的目的是使凸制定病态线性反问题的二次数据保真度条款。新的惩罚克服了可分离正则化的局限性。我们展示了如何设置罚参数，以确保目标函数是凸的，并提供了一个明确的条件来验证预期的解决方案的最优性。我们提出了一个算法（前向后分裂的一个实例）稀疏反卷积使用新的惩罚。
2015-11-02 math.OC
Nonconvex penalization of switching control of partial differential equations
本文研究了抛物型偏微分方程在时间上具有逐点切换约束的最优控制问题。处理非线性最优化中约束的标准方法是惩罚，特别是使用$L^1$型范数。应用这种方法的开关约束导致一个非光滑和非凸的无穷维最小化问题，这是具有挑战性的分析和数值。添加$H^1$正则化或限制到有限维控制空间允许示出最优控制的存在。一阶必要的最优性条件，然后使用非光滑分析的工具。它们的解可以使用Moreau-Yosida正则化和半光滑牛顿法的组合来计算。数值例子说明了这种方法的性能。
2018-04-27 math.OC
A parameterized Douglas-Rachford Splitting algorithm for nonconvex optimization
本文研究了一类非凸最优化问题的参数化Douglas-Rachford分裂方法。构造了一个新的价值函数，证明了参数化Douglas-Rachford分裂方法产生的整个序列的收敛性。然后，我们将参数化道格拉斯-Rachford分裂方法应用于数据科学中出现的三个重要的非凸最优化问题：稀疏约束最小二乘问题，可行性问题和低秩矩阵完成。数值结果验证了参数化Douglas-Rachford分裂方法的有效性。
2020-06-16 math.OC
Nonconvex regularization for sparse neural networks
Oak Ridge National Laboratory（橡树岭国家实验室）；Georgia Institute of Technology（佐治亚理工学院）
已经提出了使用无限神经元字典的凸$\ell_1$正则化来构造具有期望的近似保证的神经网络，但是可能受到任意量的过度参数化的影响。这可能导致稀疏性的损失，并导致网络对于给定数据具有太多的活动神经元，特别是如果数据样本的数量很大。作为一种补救措施，本文在浅层ReLU网络的背景下研究了一种非凸正则化方法：我们证明了与凸方法相反，即使存在无限数据，任何所得（局部最优）网络也是有限的（即，如果数据分布是已知的并且考虑无限样本的极限情况）。此外，我们表明，近似保证和现有的有限数据的网络大小的界限。
2022-05-31 cs.LG math.OC stat.ML
Stochastic Cubic Regularization for Fast Nonconvex Optimization
University of California, Berkeley（加州大学伯克利分校）
本文提出了一个经典算法的随机变体-正则化牛顿法[Nesterov and Polyak 2006]。该算法有效地逃脱鞍点，并找到近似的局部极小值一般光滑，非凸函数在只有$\mathcal{\tilde{O}}(ε^{-3.5})$随机梯度和随机海森向量积的评价。后者可以像随机梯度一样有效地计算。这改进了随机梯度下降的$\mathcal{\tilde{O}}(ε^{-4})$速率。我们的速度匹配最著名的结果，找到当地的最小值，而不需要任何微妙的加速或方差减少技术。
2017-12-05 cs.LG math.OC stat.ML
Hands-Off Covariance Steering: Inducing Feedback Sparsity via Iteratively Reweighted $\ell_{1,p}$ Regularization
本文研究在将离散时间线性随机系统状态协方差导引至期望终端值的同时诱导控制输入稀疏化的问题，提出基于迭代重加权 $\ell_{1,p}$ 正则化的方法，证明了无损凸化性质，仿真显示其 Pareto 前沿优于简单 $\ell_1$ 且逼近 $\ell_0$ 暴力搜索。
2025-09-14 math.OC
Cubic Regularization with Momentum for Nonconvex Optimization
Ohio State University（俄亥俄州立大学）；Duke University（杜克大学）；Georgia Institute of Technology（佐治亚理工学院）
动量是一种在实际训练中用于加速收敛的常用技术，其对一阶算法收敛保证的影响已得到充分研究。然而，这样一个成功的加速技术还没有被提出用于非凸优化的二阶算法。在本文中，我们将动量格式应用于三次正则化（CR）牛顿法，并探索加速的潜力。我们对各种非凸最优化问题的数值实验表明，动量格式可以大大促进三次正则化的收敛，甚至比Nesterov的加速方案CR。理论上，我们证明了CR在动量下达到了最好的收敛速度到非凸优化的二阶稳定点。此外，我们研究了所提出的算法求解问题满足误差界条件，并建立了一个局部平方收敛速率。然后，特别是有限和问题，我们表明，该算法可以允许计算不精确，降低了整体样本的复杂性，而不会降低收敛速度。
2019-06-27 cs.LG math.OC stat.ML
Efficient regularization with wavelet sparsity constraints in PAT
本文研究了平面光声层析成像的重建问题。我们开发了一种直接重建方法，采用正则化小波稀疏约束。为此，我们推导出一个小波分解（WVD）的PAT前向算子和相应的显式重建公式的情况下，精确的数据。在噪声数据的情况下，我们结合了WVD重建公式与软阈值，产生一个空间自适应估计方法。我们证明，我们的方法是统计上最优的白随机噪声，如果未知函数被假定为躺在任何Besov球。我们提出了这种方法的推广，特别是，我们讨论了组合的软阈值与电视先验。我们还提供了一个有效的实现的小块变换，导致快速图像重建算法的数值结果支持。
2017-03-23 math.OC
Doubly majorized algorithm for sparsity-inducing optimization problems with regularizer-compatible constraints
考虑一类稀疏诱导最优化问题，其约束集是正则化算子相容的，即在稀疏诱导正则化算子诱导的坐标变换之后，约束集变得易于投影到其上.我们的模型是一般的，足以覆盖，作为特殊情况下，有序LASSO模型及其变种与一些常用的非凸稀疏诱导正则化。同时存在的稀疏诱导正则化和约束集的有效算法的设计提出了挑战。在本文中，通过利用绝对值对称性和其他属性的稀疏诱导正则化，我们提出了一种新的算法，称为双重优化算法（DMA），这类问题。DMA在每次迭代中利用坐标变换之后到约束集上的投影，因此可以有效地执行。没有调用任何常用约束规格条件，如那些基于地平线次微分，我们表明，任何积累点的DMA产生的序列是一个所谓的$ψ_{\rm opt}$ -平稳点，一个新的概念，我们定义的平稳性的启发的概念$L$ -平稳。我们还表明，我们的模型的任何全球极小必须是一个$ψ_{\rm opt}$ -平稳点，再次不施加任何约束规格条件。最后，我们数值说明了DMA的性能解决非凸正则化的有序LASSO的变体。
2023-03-08 math.OC
Moreau envelope and proximal-point methods under the lens of high-order regularization
University of Antwerp（安特卫普大学）
本文提出高阶近点法HiPPA，研究高阶Moreau包络在非凸优化中的性质及收敛性，为高阶平滑理论的发展提供理论支持。
2025-12-11 math.OC
Regularization of Limited Memory Quasi-Newton Methods for Large-Scale Nonconvex Minimization
本文讨论正则化牛顿法，一类灵活的无约束优化算法，线搜索和置信域方法的竞争力，并潜在地结合两者的吸引力元素。特别的重点是结合正则化与有限记忆拟牛顿法，利用有限记忆算法的特殊结构。在适当的假设下证明了正则化方法的整体收敛性，并讨论了正则化有限记忆拟牛顿更新的细节，包括它们的紧致表示.使用来自CUTEst集合的所有大规模测试问题的数值结果表明，我们的正则化版本的L-BFGS与最先进的线搜索和信赖域L-BFGS算法以及先前将L-BFGS与正则化相结合的尝试具有竞争力，同时可能优于其中一些，特别是当涉及非单调性时。
2022-07-11 cs.NA math.NA math.OC
Algorithmic Versatility of SPF-regularization Methods
稀疏性提升函数（Sparsity promoting function，SPF）是最优化问题中常用的一种求解方法，它可以求解在某种基上是稀疏的问题。例如，l1正则化变分模型和Rudin-Osher-Fatemi全变差（ROF-TV）模型分别是用于信号和图像去噪的一些最知名的变分模型。然而，最近的工作表明，凸性并不总是可取的稀疏促进功能。在本文中，我们取代凸的SPF与其诱导的非凸的SPF和开发算法的模型，通过探索的内在结构的非凸的SPF。我们还提出了模拟说明的SPF和图像去噪的算法的性能。
2019-09-12 math.OC
Sparse Regularization with the $\ell_0$ Norm
我们考虑一个最小化问题，其目标函数是一个保真度项的总和，不一定是凸的，和一个正则化项定义的正正则化参数$λ$倍的$\ell_0$规范组成的线性变换。该问题在压缩感知、稀疏机器学习和图像重建等领域有着广泛的应用。本文的目标是了解什么样的正则化参数的选择可以决定稀疏性的水平下的变换的全局最小值的正则化目标函数。这是一个关键问题，但一直没有得到解决。我们解决它从几何的观点与稀疏分区的图像空间的变换被引入。指定正则化参数的选择以确保对应的正则化目标函数的全局最小值在变换下达到规定的稀疏水平。结果得到的空间稀疏的情况下，变换是身份映射，一个案件，涵盖了几个应用的实际重要性，包括机器学习，图像/信号处理和医学图像重建。
2021-11-16 math.OC
Convergence of Cubic Regularization for Nonconvex Optimization under KL Property
The Ohio State University（俄亥俄州立大学）
三次正则化牛顿法（CR）是求解非凸最优化问题的一种保证二阶稳定解的常用算法。然而，现有的理解CR的收敛速度的条件下，特殊类型的几何性质的目标函数。本文利用非凸目标函数普遍存在的Kurdyka-Lojasiewicz（KL）性质，研究了CR的渐近收敛速度.具体地，我们刻画了CR的各种最优性测度的渐近收敛速度，包括函数值间隙、变距离间隙、梯度范数和黑塞矩阵的最小特征值.我们的研究结果充分刻画了这些最优性措施在KL属性的全参数范围内的各种收敛行为。此外，我们还证明了在KL性质下，CR算法的渐近收敛速度比一阶梯度下降算法的收敛速度要快。
2018-08-22 cs.LG math.OC stat.ML
Combining Stochastic Adaptive Cubic Regularization with Negative Curvature for Nonconvex Optimization
University of Florida（佛罗里达大学）；Korea Institute of Industrial Technology (KITECH)（韩国产业技术研究院）
我们专注于最小化机器学习问题中通常出现的非凸有限和函数。为了解决这个问题，自适应三次正则化牛顿法已经显示出其强大的整体收敛保证和逃离严格鞍点的能力。该方法使用类似置信域的方案来确定迭代是否成功，并且仅在迭代成功时更新。在本文中，我们提出了一种算法相结合的负曲率与自适应立方正则牛顿方法更新，即使在不成功的迭代。我们称这种新方法为负曲率随机自适应三次正则化（SANC）。与以前的方法不同，为了获得随机梯度和Hessian估计量，SANC算法在所有迭代中使用大小一致的独立数据点集。这使得SANC算法在解决大规模机器学习问题时更加实用。据我们所知，这是第一个方法，结合负曲率方法与自适应三次正则化牛顿法。最后，我们提供了实验结果，包括神经网络的问题，支持我们的方法的效率。
2019-06-27 cs.LG math.OC
A Majorize-Minimize subspace approach for l2-l0 image regularization
在这项工作中，我们考虑一类稀疏图像计算问题的可微准则，其中非凸正则化应用于目标图像的任意线性变换。作为特殊情况，它包括通常用于图像处理的边缘保持措施或帧分析潜力。正如我们的渐近结果所示，我们考虑的l2-l0罚函数可以用来提供l0罚函数最优化问题的近似解。所提出的方法的优点之一是，它允许我们得到一个有效的Majorize最小化子空间算法。利用非凸优化的最新结果研究了算法的收敛性。通过图像处理实例说明了所提出的最优化方法的快速收敛特性。特别是，它的有效性证明了几个数据恢复问题。
2013-08-26 math.OC
Minimization of nonsmooth nonconvex functions using inexact evaluations and its worst-case complexity
针对复合非光滑非凸优化问题，提出了一种基于非精确函数和导数计算的自适应正则化算法。它表明，该算法最多需要$O(|\log(ε)|\,ε^{-2})$评估的问题的功能和他们的衍生物找到一个$ε$ -近似的一阶稳定点。因此，该复杂性界限概括了[Bellavia，Gurioli，Morini和Toint，2018]为光滑非凸问题的不精确方法提供的复杂性界限，并且在具有精确评估的光滑和非光滑非凸最小化已知的最优界限的$|\log(ε)|$因子内。一个实际上更严格的最坏情况下的复杂性$O(|\log(ε)|+ε^{-2})$的算法的变体。
2019-02-27 math.OC
Matrix Completion via Nonconvex Regularization: Convergence of the Proximal Gradient Algorithm
Shanghai Jiao Tong University（上海交通大学）
在过去的十年中，矩阵完备化在机器学习和计算机视觉中引起了人们的极大兴趣。对于矩阵完备化中的低秩提升，核范数罚因其凸性而方便，但存在偏差问题。近年来，人们提出了各种使用非凸罚函数的算法，其中最有效的算法之一是近端梯度下降算法。对于非凸PGD算法，它是否收敛于局部极小点及其收敛速度还不清楚。本文对非凸情形下的PGD算法进行了非平凡分析。除了收敛到一个稳定点的广义非凸处罚，我们提供了更深入的分析一类流行的和重要的非凸处罚，具有不连续的阈值功能。对于这种惩罚，我们建立了PGD算法的有限秩收敛性，收敛到严格限制的局部极小点，并最终线性收敛速度。同时，收敛到一个局部极小值已被证明为硬阈值惩罚。我们的结果是第一次表明，非凸正则矩阵完备化只存在严格限制的局部极小点，并且PGD算法在一定条件下能够以最终线性速度收敛到这样的极小点。还通过实验对PGD算法进行了说明。代码可在https://github.com/FWen/nmc上获得。
2019-03-02 cs.LG math.OC stat.ML
A Cubic Regularization Approach for Finding Local Minimax Points in Nonconvex Minimax Optimization
University of Utah（犹他大学）；University of Science and Technology of China（中国科学技术大学）；Ant Group（蚂蚁集团）；JD company（京东公司）
梯度下降-上升（GDA）算法是一种广泛使用的极小极大优化算法。然而，GDA已被证明收敛到非凸极大极小优化的稳定点，这是次优的局部极大极小点相比。在这项工作中，我们开发了三次正则化（CR）型算法，全局收敛到局部极大极小点的非凸强凹极大极小优化。我们首先证明了局部极大极小点等价于某个包络函数的二阶平稳点。然后，受经典的三次正则化算法的启发，提出了一种寻找局部极小极大点的算法Cubic-LocalMinimax，并利用其内在的势函数给出了一个全面的收敛性分析.具体地说，我们建立了Cubic-LocalMinimax的整体收敛到局部极小极大点的次线性收敛速度，并描述其迭代复杂性。此外，我们提出了一个基于GDA的求解器，用于解决Cubic-LocalMinimax算法中涉及的立方子问题，达到一定的预定义精度，并分析了这种不精确的Cubic-LocalMinimax算法的整体梯度和Hessian向量积计算复杂性。此外，我们提出了一个随机变种的Cubic-LocalMinimax的大规模极大极小优化，并在随机子采样下的样本复杂性。实验结果表明，我们的随机Cubic-LocalMinimax比现有的一些算法更快的收敛。
2023-02-19 cs.LG math.OC
Malitsky-Tam forward-reflected-backward splitting method for nonconvex minimization problems
将求解单调算子包含问题的Malitsky-Tam前向反射后向（FRB）分裂方法推广到非凸极小化问题.通过假设目标函数的二次正则化具有广义凹Kurdyka-Schojasiewicz（KL）性质，证明了FRB方法全局收敛于目标函数的一个稳定点，并具有有限长性质.我们的方法的锋利度是保证凭借与广义凹KL属性相关的确切模量。数值实验表明，FRB是竞争力相比，道格拉斯-Rachford方法和Bosnia-Csetnek惯性Tseng的方法。
2021-11-17 math.OC
Stochastic Variance-Reduced Cubic Regularization for Nonconvex Optimization
Ohio State University（俄亥俄州立大学）；Georgia Institute of Technology（佐治亚理工学院）
三次正则化（CR）是一种最优化方法，由于其能够逃逸鞍点并收敛于非凸优化的二阶稳定解而受到广泛关注。然而，CR遇到了一个高样本复杂度的问题，有限和问题，大的数据大小。已提出CR的各种不精确变体以改善样本复杂性。本文提出了一种随机抽样下的随机方差缩减的正则化方法，并研究了它的收敛性保证和样本复杂度。我们表明，SVRC实现$ε$精度内的二阶稳态解的迭代复杂度为$O(ε^{-3/2})$，这与CR类型方法的最新结果相匹配。此外，我们提出的方差缩减方案显着降低了每次迭代样本的复杂度。我们的SVRC得到的总Hessian样本复杂度是${\Oc}(N^{2/3} ε^{-3/2})$，它比最先进的结果好$O(N^{2/15})$倍。我们还研究了我们的SVRC下的随机不放回抽样方案，它产生了较低的每次迭代的样本复杂度，因此证明了其实用性。
2018-10-09 cs.LG math.OC stat.ML
Anderson Accelerated Operator Splitting Methods for Convex-nonconvex Regularized Problems
针对凸-非凸（CNC）正则化问题计算具挑战性且研究不足的问题，提出Anderson加速的算子分裂方法求解带CNC正则化的最小二乘问题，证明全局收敛性并展示实际加速效果。
2025-02-20 math.OC stat.CO
Sparse Recovery Analysis of Generalized $J$-Minimization with Results for Sparsity Promoting Functions with Monotonic Elasticity
在本文中，我们从理论上研究精确恢复稀疏向量压缩测量最小化一般非凸函数，可以分解成属于一类光滑非凸稀疏促进函数的单变量函数的总和。其中，空间性质（NSP）和限制等距性质（RIP）是主要的理论工具。引入与稀疏性提升函数相关联的\emph{scale function}的概念，以推广$l_p$最小化问题的最新分析技术。分析是用来推导出一个上限的零空间常数（NSC）与这个一般的非凸最小化问题，这是进一步利用推导出的充分条件，精确的恢复作为上限的限制等距常数（RIC），以及最佳稀疏$K$的界限，精确的恢复发生。导出的界限显式计算时，稀疏促进功能$f$考虑拥有的属性，相关的\emph{elasticity function}，定义为，$ψ(x)=\frac{xdf(x)/dx}{f(x)}$，是单调的性质。数值模拟进行了验证的有效性的界限和有趣的结论得出不同的稀疏促进功能的比较性能的问题的$1$稀疏信号恢复。
2020-10-19 cs.IT math.IT math.OC
Implicit Regularization in Nonconvex Statistical Estimation: Gradient Descent Converges Linearly for Phase Retrieval, Matrix Completion, and Blind Deconvolution
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
近年来，在设计可证明有效的非凸程序来解决统计估计问题方面出现了一系列的活动。由于经验损失的高度非凸性质，最先进的程序通常需要适当的正则化（例如修剪，正则化成本，投影），以保证快速收敛。然而，对于诸如梯度下降之类的常规过程，先验理论要么推荐高度保守的学习率以避免过冲，要么完全缺乏性能保证。本文揭示了非凸优化中一个引人注目的现象：即使在没有显式正则化的情况下，梯度下降也会在各种统计模型下隐式地执行适当的正则化。事实上，梯度下降遵循的轨迹停留在具有良好几何形状的盆地内，由与采样机制不一致的点组成。这种“隐式正则化”特性允许梯度下降以更积极的方式进行，而不会过冲，这反过来又导致大量的计算节省。聚焦于三个基本的统计估计问题，即相位恢复，低秩矩阵完成，和盲反卷积，我们建立了梯度下降实现接近最优的统计和计算保证，而无需显式正则化。特别是，通过将统计建模与通用优化理论相结合，我们开发了一个通用的配方，通过留一法扰动参数分析迭代算法的轨迹。作为一个副产品，嘈杂的矩阵完成，我们证明，梯度下降实现了接近最优的误差控制-测量entrywise和频谱范数-这可能是独立的利益。
2019-07-30 cs.IT cs.LG math.IT
Identifying the source term in the potential equation with weighted sparsity regularization
针对势方程稀疏源项反演中标准方法易将内部源汇误判在边界附近的问题，提出加权稀疏正则化及可检验识别准则，并通过数值实验验证。
2023-11-03 math.OC
A Momentum Accelerated Adaptive Cubic Regularization Method for Nonconvex Optimization
The University of Hong Kong（香港大学）
三次正则化方法（CR）及其自适应方法（ARC）是求解无约束非凸优化问题的常用牛顿型方法，由于其在较弱的条件下具有整体收敛到局部极小点的优点。本文的主要目的是发展一种动量加速的自适应立方正则化方法（ARCm），以提高收敛性能。在适当选择动量步长的情况下，证明了ARCm的整体收敛，并在\KL性质下保证了局部收敛性.这种全局和局部收敛也可以建立在迭代过程中采用低计算成本的不精确求解器。非凸逻辑斯谛回归和鲁棒线性回归模型的数值结果表明，所提出的ARCm显着优于最先进的三次正则化方法（例如，CR、基于动量的CR、ARC）和置信域方法。特别地，ARCm所需的迭代次数比实验中最具竞争力的方法（ARC）所需的迭代次数少小于10%~ 50%.
2022-10-12 cs.LG cs.NA math.NA
Parameter Choices for Sparse Regularization with the $\ell_1$ Norm
我们考虑一个正则化问题，其目标函数由一个凸保真度项和一个正则化项组成，该正则化项由线性变换和$\ell_1$范数组成。实验结果表明，使用$\ell_1$范数进行正则化可以提高正则解的稀疏性.本文的目的是从理论上理解正则化参数对正则化解的稀疏性的影响。我们在解的变换矩阵下建立了稀疏性的一个刻画。当保真度项具有特殊的结构并且变换矩阵与单位矩阵一致时，所得到的表征可以被视为正则化参数选择策略，利用该策略，正则化问题具有具有一定水平的稀疏性的解。我们研究了正则化参数的选择，使正则化项的不适定性和促进稀疏的正则化解决方案。数值实验表明，正则化参数的选择可以平衡的稀疏性的正则化问题的解决方案，其逼近的保真度函数的最小值。
2022-05-15 cs.NA math.NA math.OC
Sample Efficient Stochastic Variance-Reduced Cubic Regularization Method
University of California, Los Angeles（加州大学洛杉矶分校）
提出了一种有效的随机方差缩减三次正则化（Lite-SVRC）算法，用于求解非凸优化问题的局部极小值.与现有的基于三次正则化的方法相比，该算法实现了更低的黑塞矩阵计算的样本复杂度。在我们的分析的核心是选择一个恒定的批量大小的黑塞矩阵计算在每次迭代和随机方差减少技术。详细地，对于具有$n$分量函数的非凸函数，Lite-SVRC收敛到$\tilde{O}(n+n^{2/3}/ε^{3/2})$ Hessian样本复杂度内的局部极小值值，这比所有现有的基于立方正则化的方法更快。在真实数据集上对不同的非凸最优化问题进行了数值实验，验证了我们的理论结果。
2018-11-29 cs.LG math.OC stat.ML
A unified approach to convergence rates for $\ell^1$-regularization and lacking sparsity
在$\ell^1$ -正则化中，它是信号和图像处理中的一个重要工具，人们通常关注的是在一些合适的基（例如小波基）中具有稀疏表示的信号和图像。关于线性不适定问题的稀疏近似解的收敛性和收敛速度的许多结果是已知的，但是在缺乏稀疏性的情况下$\ell^1$ -正则化的速度结果直到2013年才发表。然而，在过去的两年中，出现了两篇文章，提供了充分条件的收敛速度的情况下，非稀疏，但几乎稀疏的解决方案。在本文中，我们提出了第三个充分条件，它统一了现有的两个，顺便说一句，也纳入了著名的限制等距属性。
2015-06-04 math.FA math.OC
Proximal Denoiser for Convergent Plug-and-Play Optimization with Nonconvex Regularization
Univ. Bordeaux（波尔多大学）；Bordeaux INP（波尔多国立理工学院）；CNRS（法国国家科学研究中心）；IMB（波尔多数学研究所）
即插即用（Plug-and-Play，PAPK）方法通过用去噪操作替换邻近算子，通过迭代邻近算法来解决不适定的逆问题。当与深度神经网络去噪器一起应用时，这些方法在图像恢复问题上表现出了最先进的视觉性能。然而，他们的理论趋同分析仍然是不完整的。大多数现有的收敛结果考虑非扩张去噪，这是不现实的，或限制他们的分析强凸数据保真度项的反问题来解决。最近，有人提出将去噪器训练为由深度神经网络参数化的泛函上的梯度下降步骤。使用这样的去噪器保证了半二次分裂（PnP-HQS）迭代算法的PnP版本的收敛性。在本文中，我们表明，这种梯度去噪实际上可以对应于另一个标量函数的邻近算子。给出了这个新结果，我们利用非凸条件下邻近算法的收敛性理论，得到了PnP-PGD（邻近梯度下降法）和PnP-ADMM（乘子的交替方向法）的收敛性结果.当建立在一个平滑梯度去噪器的顶部，我们表明，PnP-PGD和PnP-ADMM是收敛的，目标固定点的显式功能。这些收敛结果与去模糊，超分辨率和修补的数值实验证实。
2022-06-21 cs.CV math.OC
Global Convergence of High-Order Regularization Methods with Sums-of-Squares Taylor Models
本文针对非凸光滑优化问题，提出结合平方和（SoS）泰勒模型与自适应正则化的算法框架，证明其在一般非凸和强凸场景下的评估复杂度界，填补了相关算法全局收敛速率分析的空白。
2024-04-18 cs.NA math.NA math.OC
Scalable Robust Matrix Factorization with Nonconvex Loss
Paradigm Inc.（第四范式）
本文提出使用非凸损失来增强鲁棒性，并通过改进的MM算法和对偶优化方法提高可扩展性，从而在准确性和可扩展性上优于现有方法。
2018-09-23 cs.NA math.NA math.OC
Approaching nonsmooth nonconvex optimization problems through first order dynamical systems with hidden acceleration and Hessian driven damping terms
本文对近似梯度动力系统\begin{equation*}\left\{ \begin{array}{ll} \dot x(t) +x(t) = \prox_{γf}\big[x(t)-γ\nablaΦ(x(t))-ax(t)-by(t)\big],\\ \dot y(t)+ax(t)+by(t)=0 \end{array}\right.\end{equation*}进行了渐近分析，其中$f$是一个正常的、凸的、下连续的函数，$Φ$是一个可能非凸的光滑函数，$γ, a$和$b$是正实数.我们表明，所产生的轨迹接近的一组临界点的$f+Φ$，在这里理解为零，其限制次微分，的前提下，这一和函数的正则化满足Kurdyka-Eschojasiewicz属性。我们还建立了收敛速度的轨迹，制定在所考虑的正则化函数的pneumojasiewicz指数。
2016-10-04 math.DS math.OC
A Graphical Global Optimization Framework for Parameter Estimation of Statistical Models with Nonconvex Regularization Functions
Iowa State University（爱荷华州立大学）
本文提出一种基于决策图的全局优化框架，用于求解含广义范数约束及SCAD、MCP等非凸惩罚的统计参数估计问题，无需辅助变量即可保证收敛到全局最优，并在稀疏线性回归基准上验证了有效性。
2025-05-06 cs.AI math.OC math.ST
Successive Convex Approximation Algorithms for Sparse Signal Estimation with Nonconvex Regularizations
Interdisciplinary Centre for Security, Reliability and Trust, University of Luxembourg（卢森堡大学安全、可靠性与信任跨学科中心）；Technische Universität Darmstadt（达姆施塔特工业大学）
在本文中，我们提出了一个连续的凸近似框架稀疏优化的非光滑正则化函数的目标函数是非凸的，它可以写为两个凸函数的差。建议的框架是基于一个非平凡的组合的优化最小化框架和连续凸逼近框架中提出的凸正则化函数的文献。所提出的框架有几个吸引人的特点，即：i）灵活性，因为不同的近似函数的选择导致不同类型的算法; ii）快速收敛，因为通过适当选择近似函数可以更好地利用问题结构，并且通过线搜索计算步长; iii）低复杂度，因为近似函数是凸的，并且线搜索方案在可微函数上执行; iv）保证收敛到稳定点。我们展示了这些功能的两个例子中的子空间学习，即网络异常检测问题和稀疏子空间聚类问题的应用。自定义所提出的框架，通过采用最佳响应型近似，我们获得软阈值与精确的线搜索算法，未知参数的所有元素根据封闭形式的表达式并行更新。所提出的算法的有吸引力的功能数值说明。
2018-06-28 cs.DC cs.IR cs.LG
SWAGGER: Sparsity Within and Across Groups for General Estimation and Recovery
罚函数或正则化项可以促进最优化问题的结构化解决，在许多领域都有很大的兴趣。在这项工作中提出的是一个非凸结构的稀疏惩罚，促进一个向量中的任意重叠组内的稀疏性。这允许在最优化问题的解决方案中强制组件之间的互斥性。我们展示了多个示例用例（包括全变差变体），展示了它与其他正则化器之间的协同作用，并提出了一种算法来有效地解决被拟议惩罚正则化或约束的问题。
2020-06-18 eess.SP math.OC
A Novel Learnable Gradient Descent Type Algorithm for Non-convex Non-smooth Inverse Problems
University of Florida（佛罗里达大学）；Georgia State University（佐治亚州立大学）
求解非凸反问题的优化算法近年来引起了人们的极大兴趣。然而，现有的方法要求非凸正则化是光滑的或简单的，以确保收敛。在本文中，我们提出了一种新的梯度下降型算法，利用剩余学习的思想和Nesterov的平滑技术，解决反问题的一般非凸和非光滑正则化证明收敛。此外，我们开发了一个神经网络架构，模拟该算法学习的非线性稀疏变换自适应从训练数据，这也继承了收敛，以适应一般的非凸结构，这种学习的转换。数值结果表明，所提出的网络优于国家的最先进的方法在各种不同的图像重建问题的效率和精度。
2020-03-24 cs.CV math.OC
Sparse Deep Learning Models with the $\ell_1$ Regularization
Syracuse University（雪城大学）；Jilin University（吉林大学）；Old Dominion University（奥多明尼昂大学）
本文研究 ℓ1 正则化参数对神经网络稀疏度的影响，推导单参数与多参数稀疏模型，并提出迭代选参算法以获得满足预定稀疏度且逼近精度良好的网络。
2024-08-05 cs.LG math.OC stat.ML
Sparsity-Enhanced Multilayered Non-Convex Regularization with Epigraphical Relaxation for Debiased Signal Recovery
本文提出一种基于上层图松弛（ER）的多层非凸正则化方法，通过分解正则化函数以计算近端算子并集成到凸优化模型中，解决了信号恢复中多层非凸正则化闭式算子不可用和易陷入局部最优的问题，有效减少了估计偏差。
2024-09-23 eess.SP math.OC
Tikhonov Regularization of Sphere-Valued Signals
通常必须处理信号，其值是3-D球体上的点。我们考虑一个Tikhonov型正则化模型来平滑或插值定义在任意图上的球值信号。我们提出了一个凸松弛这个非凸问题作为一个半定规划，这是很容易解决的数值计算，在实践中是有效的。
2022-07-25 eess.SP math.OC
A Class of Nonconvex Penalties Preserving Overall Convexity in Optimization-Based Mean Filtering
$\ell_1$均值滤波是一种传统的基于优化的方法，用于估计受加性噪声扰动的分段恒定信号中的跳跃位置。在该方法中，$\ell_1$范数惩罚信号的一阶导数的稀疏性。然而，理论结果表明，在某些情况下，这可能经常发生在实践中，即使当跳跃幅度趋向于$\infty$，传统的方法识别虚假的变化点。这个问题被称为阶梯问题，并限制了$\ell_1$均值滤波的实际意义。在本文中，稀疏性惩罚更严格的$\ell_1$规范，通过利用一定的非凸函数类，而严格的凸性随之而来的优化问题被保留。这导致检测变化点的更高性能。为了从理论上证明性能改善$\ell_1$均值滤波，确定性和随机性的充分条件，精确的变点恢复。特别是，理论结果表明，在阶梯套管问题，我们的方法可能能够排除假的变化点，而$\ell_1$均值滤波可能会失败。大量数值模拟有助于证明我们的方法优于$\ell_1$均值滤波和另一种最先进的算法，该算法比$\ell_1$规范更能提高稀疏性。具体而言，它表明，我们的方法可以始终检测到变化点时，跳跃幅度变得足够大，而其他两个竞争对手不能。
2016-04-22 cs.IT math.IT math.OC
Linearly Involved Generalized Moreau Enhanced Models and Their Proximal Splitting Algorithm under Overall Convexity Condition
由于向量的稀疏性或矩阵的低秩性，直接离散测度的凸包络已被广泛用作实际惩罚，以计算相应正则化最小二乘模型的全局最优解。主要受[Zhang'10，Selesnick'17，Yin，Parekh，Selesnick'19]中利用正则化最小二乘模型中的非凸罚而不损失其整体凸性的思想的启发，本文提出了线性涉及的广义Moreau增强（LiGME）模型作为非凸罚的这种利用的统一扩展。该模型可以在不损失整体凸性的情况下允许多个非凸惩罚，因此适用于稀疏秩感知信号处理中更广泛的场景。在LiGME模型的一般全局凸性条件下，我们还提出了一种新的保证收敛到全局最优解的邻近分裂型算法。在稀疏秩感知信号处理的典型例子中的数值实验证明了LiGME模型和所提出的邻近分裂算法的有效性。
2021-02-19 cs.NA math.NA math.OC
On the complexity of Mumford-Shah type regularization, viewed as a relaxed sparsity constraint
Princeton University（普林斯顿大学）；New York University（纽约大学）
本文证明截断二次正则化反问题在一般情况下是NP难的，甚至难以近似到加性误差，从而确认了Mumford-Shah泛函无法自然推广到一般反问题。
2010-01-18 cs.NA math.NA math.OC
