SPOQ $\ell_p$-Over-$\ell_q$ Regularization for Sparse Signal Recovery applied to Mass Spectrometry
欠定或不适定的反问题需要额外的信息\ldd{d}声音解决方案与易处理的优化算法。稀疏性产生了对这一问题的后续分析，在信号恢复，图像恢复或机器学习中有许多应用。由于$\ell_0$计数度量几乎无法处理，因此许多统计或学习方法都投资于可计算代理，例如$\ell_1$范数。然而，后者并没有表现出理想的属性的稀疏数据的尺度不变性。扩展的SOOT欧几里德/Taxicab $\ell_1$上的$\ell_2$范数比最初引入盲反卷积，我们提出了SPOQ，一个家庭的平滑（近似）尺度不变的惩罚函数。它由$\ell_p$对$\ell_q$的准范数/范数比的Lipschitz可微替代物与$p\in\,]0,2[$和$q\ge 2$组成。该代理被嵌入到一种新的优化最小化信赖域方法中，推广了变尺度前向-后向算法。对于自然稀疏的质谱信号，我们表明，SPOQ显着优于$\ell_0$，$\ell_1$，柯西，Welsch，SCAD和Celo的处罚几个性能指标。还提供了SPOQ超参数调整的指导方针，建议简单的数据驱动的选择。
2020-09-22 math.OC
Sparsity-Enhanced Multilayered Non-Convex Regularization with Epigraphical Relaxation for Debiased Signal Recovery
本文提出一种基于上层图松弛（ER）的多层非凸正则化方法，通过分解正则化函数以计算近端算子并集成到凸优化模型中，解决了信号恢复中多层非凸正则化闭式算子不可用和易陷入局部最优的问题，有效减少了估计偏差。
2024-09-23 eess.SP math.OC
$\ell_{1}^{2}-η\ell_{2}^{2}$ regularization for sparse recovery
针对产生稀疏解的不适定线性问题，提出$\u2113_{1}^{2}-η\u2113_{2}^{2}$非凸非光滑正则化方法，证明其适定性与收敛速率，设计两种高效数值算法，实验验证其在压缩感知等任务上的性能优于多种现有正则化方法。
2025-06-13 math.OC
Regularization of $\ell_1$ minimization for dealing with outliers and noise in Statistics and Signal Recovery
本文研究了在给定设计矩阵和污染仅限于因变量的经典线性回归问题中，$\ell_1$范数最小化的鲁棒性。我们进行了精细的误差分析的$\ell_1$估计的测量误差与噪声相结合的离群值。我们介绍了一种新的估计技术，从正规化的$\ell_1$最小化的下卷积与$\ell_2$规范。考虑到对大离群值的鲁棒性，所提出的估计保持了$\ell_1$估计的崩溃点，并在没有离群值时简化为最小二乘。我们提出了一个全局收敛的向前向后算法计算我们的估计和一些数值实验证实其理论性质。
2014-02-25 math.OC stat.ML
Efficient Low Rank Matrix Recovery With Flexible Group Sparse Regularization
本文提出灵活组稀疏正则化器（FLGSR）解决低秩矩阵恢复问题，将任意数量矩阵列作为单元分组，并设计非精确重启增广拉格朗日方法，通过外推线性化交替最小化实现快速收敛，实验验证了其优越性。
2024-01-18 math.OC
Conditions on optimal support recovery in unmixing problems by means of multi-penalty regularization
Norwegian University of Science and Technology（挪威科技大学）；Simula Research Laboratory AS（Simula研究实验室有限公司）
本文研究了通过多惩罚正则化方法在混叠逆问题中实现最佳支持恢复的条件，通过数值模拟验证了其在稀疏恢复中的优越性。
2016-01-07 cs.NA math.NA math.OC
A three-operator splitting algorithm for nonconvex sparsity regularization
稀疏正则化在信号与图像处理、机器学习等领域有着广泛的应用。本文主要考虑三项非凸极小化问题，应用于稀疏信号恢复和低秩矩阵恢复。我们采用了一个三算子分裂提出的戴维斯和尹（称为DYS），以解决由此产生的可能非凸问题，并发展的收敛理论，这三个算子分裂算法在非凸的情况下。我们表明，如果选择的步长小于小于一个可计算的阈值，那么整个序列收敛到一个固定点。通过定义一个新的与DYS方法相关联的能量函数，在此能量函数为Kurdyka- $Ł$ ojasiewicz函数的条件下，我们证明了整个序列的整体收敛和局部收敛速度.我们还提供了生成序列有界性的充分条件。最后通过数值实验比较了DYS算法与一些经典的稀疏信号恢复和低秩矩阵完备化的有效算法。数值结果表明，DYS方法优于现有的方法，这些特定的应用。
2020-06-16 math.OC
$\ell_{1\text{-}2}$ Regularization for Sparse Optimization: Consistency and Global Convergence
Shenzhen University（深圳大学）；ShanghaiTech University（上海科技大学）；The Hong Kong Polytechnic University（香港理工大学）
本文提出$\ell_{1\text{-}2}$正则化问题的一致性理论和全局收敛算法，通过引入受限特征值条件和两种迭代阈值算法，提升了稀疏恢复能力。
2026-03-03 math.OC
A Novel Regularization Based on the Error Function for Sparse Recovery
正则化在解决不适定问题中起着重要的作用，它通过添加关于所需解的额外信息，如稀疏性。许多正则化项通常涉及一些向量范数，例如，$L_1$和$L_2$规范。在本文中，我们提出了一种新的正则化框架，使用误差函数来近似单位阶跃函数。它可以被认为是$L_0$范数的代理函数。误差函数关于其内参数的渐近行为表明，当参数分别逼近$0$和$\infty,$时，所提出的正则化方法可以逼近标准的$L_0$和$L_1$范数.从统计学上讲，它也比$L_1$方法偏倚更小。然后，我们将误差函数的约束或无约束的模型时，从欠定线性系恢复稀疏信号。在计算上，这两个问题都可以通过迭代加权$L_1$（IRL 1）算法保证收敛。大量的实验结果表明，所提出的方法优于国家的最先进的方法在各种稀疏恢复场景。
2020-07-06 cs.NA math.NA math.OC
Iterative Regularization with k-support Norm: An Important Complement to Sparse Recovery
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Nanjing University（南京大学）；Jilin University（吉林大学）
提出基于k-support范数的迭代正则化算法IRKSN，通过早停机制实现稀疏恢复，放宽了传统$\ell_1$范数方法的适用条件，并给出了具有显式常数的模型误差早停界限，实现标准线性收敛率。
2024-03-19 cs.LG eess.SP math.OC
Group sparse optimization via $\ell_{p,q}$ regularization
本文从理论、算法和应用三个方面研究了基于$\ell_{p,q}$正则化的群体稀疏最优化问题。在理论方面，通过引入群限制特征值条件的概念，建立了$\ell_{p,q}$正则化问题水平集上任意点的预言性质和$O(λ^\frac{2}{2-q})$阶的整体恢复界，并借助现代变分分析技术，给出了局部极小点路径的$O(λ^2)$阶恢复界的局部分析.在算法方面，我们应用著名的近似梯度方法来解决$\ell_{p,q}$正则化问题，或者通过解析地解决一些特定的$\ell_{p,q}$正则化子问题，或者通过使用牛顿方法来解决一般的$\ell_{p,q}$正则化子问题。特别地，我们建立了近似梯度法求解$\ell_{1,q}$正则化问题的线性收敛速率在一些温和的条件下。由此，得到了近似梯度法求解通常的$\ell_{q}$正则化问题（$0<q<1$）的线性收敛速率.最后，在应用方面，我们给出了基因转录调控中模拟数据和实际数据的数值结果。
2016-01-28 math.OC
Iterative thresholding algorithm based on non-convex method for modified lp-norm regularization minimization
最近，$ł_{p}$ -范数正则化最小化问题$(P_{p}^λ)$在压缩感知领域引起了极大的关注.然而，问题$(P_{p}^λ)$中的$ł_{p}$ -范数$\|x\|_{p}^{p}$对所有$p\in(0,1)$都是非凸的和非Lipschitz的，目前还没有很多优化理论和方法被提出来解决这个问题.事实上，它对所有$p\in(0,1)$和$λ>0$都是NP难的。本文研究了两个改进的$ł_{p}$正则化极小化问题来逼近NP难问题$(P_{p}^λ)$。受Half算法和$2/3$算法在稀疏信号恢复问题中的良好性能的启发，提出了两种迭代阈值算法，分别用于解决问题$(P_{p,1/2,ε}^λ)$和$(P_{p,2/3,ε}^λ)$。数值结果表明，在某些稀疏信号恢复问题中，对于适当的$p\in(0,1)$，我们的算法可以有效地找到稀疏信号。
2018-04-25 math.OC
Fast Image Recovery Using Variable Splitting and Constrained Optimization
我们提出了一种新的快速算法来解决图像恢复和重建的标准公式之一，其中包括一个无约束的最优化问题，目标包括一个$\ell_2$数据保真度项和一个非光滑正则化。该公式允许基于小波（具有正交或基于帧的表示）的正则化或全变差正则化。我们的方法是基于变量分裂，以获得一个等价的约束优化配方，然后与增广拉格朗日方法。该算法是所谓的“乘子交替方向法”的一个例子，其收敛性已被证明。一组图像恢复和重建基准问题的实验表明，该算法比目前的最先进的方法是快速的。
2009-10-26 math.OC
A class of null space conditions for sparse recovery via nonconvex, non-separable minimizations
对于稀疏恢复问题，非凸极小化在提高解的稀疏性方面优于$\ell_1$罚函数，这一点已被广泛接受。然而，到目前为止，理论验证，非凸处罚优于（或至少一样好）$\ell_1$最小化的精确，均匀的恢复主要限于可分离的情况下。在本文中，我们建立了一般的恢复保证，通过零空间条件的非凸，不可分的正则化，这是稍微低于要求的标准零空间属性$\ell_1$最小化。
2019-02-14 math.OC
Exact recovery of the support of piecewise constant images via total variation regularization
本文针对含噪线性测量下的分段常数图像恢复问题，证明在全变差正则化方法中，当未知图像由少数简单形状叠加且满足非退化源条件时，低噪声下重建图像保持相同结构，且形状与强度随噪声趋于零而收敛到真值。
2024-03-29 cs.NA eess.SP math.NA
A Lifted $\ell_1 $ Framework for Sparse Recovery
受重新加权的$\ell_1$方法稀疏恢复的启发，我们提出了一个提升的$\ell_1$（LL1）正则化，这是在文献中几个流行的正则化的推广形式。通过探索这种联系，我们发现有两种类型的提升函数，可以保证所提出的方法是等价的$\ell_0$最小化。在计算上，我们通过交替方向乘子法（ADMM）设计了一个有效的算法，并建立了一个无约束的配方的收敛性。实验结果表明，这种泛化如何提高稀疏恢复的最先进的。
2022-05-12 eess.SP math.OC
Optimal, centralized dynamic curbside parking space zoning
在本文中，我们制定了一个动态的混合整数规划的最佳分区路边停车位的交通政策启发的约束和正则化条款。首先，我们说明了如何给定一些目标的遏制分区估价作为一个功能的区域类型（例如，付费停车场或公共汽车站），动态重新分区涉及在固定时间范围内展开该优化程序。其次，我们实现了两种不同的解决方案的方法，优化一个给定的遏制分区值函数。在第一种方法中，我们用近似动态规划来求解长时间动态分区问题。在第二种方法中，我们采用Dantzig-Wolfe分解成一个主问题和几个子问题，我们并行解决的混合整数规划，这种分解大大加快了MIP求解器。我们目前的模拟结果和比较不同的车辆到达率数据在西雅图市中心，华盛顿州，美国的一个社区所采用的技术
2022-07-20 math.OC
Multi-mode Tensor Train Factorization with Spatial-spectral Regularization for Remote Sensing Images Recovery
Hangzhou Dianzi University（杭州电子科技大学）；The Hong Kong Polytechnic University（香港理工大学）；Huawei（华为技术有限公司）
张量训练（TT）分解及其对应的TT秩能很好地表达高阶张量的低阶性和模态相关性，近年来受到了广泛的关注。然而，基于TT分解的方法通常不足以表征沿三阶张量的每个模式的低秩。受此启发，我们将张量训练分解推广到模k张量训练分解，并引入相应的多模张量训练（MTT）秩.然后，我们提出了一种新的低MTT秩张量完成模型，通过多模式TT分解和空间谱平滑正则化。为了解决该模型，我们开发了一个有效的近似交替最小化（PAM）算法。大量的数值实验结果表明，所提出的MTTD3R方法优于比较方法的视觉和定量措施。
2022-05-05 cs.CV eess.IV math.OC
An Efficient Semismooth Newton Method for Adaptive Sparse Signal Recovery Problems
我们知道，压缩感知可以建立稳定的稀疏恢复结果，从高度欠采样的数据下，一个有限的等距属性条件。然而，在现实中，许多问题是相互关联的，绝大多数传统方法可能效果不佳。最近，研究表明，使用$\ell_1$ -和$\ell_2$ -范数之间的差异作为正则化总是具有优越的性能。在本文中，我们提出了一个自适应的$\ell_p$ - $\ell_{1-2}$模型，其中$\ell_p$ -范数与$p\geq 1$测量数据的保真度和$\ell_{1-2}$ -长期措施的稀疏性。该模型具有处理不同类型噪声的能力，即使在高相干条件下也能提取稀疏特性。我们使用一个近似的优化最小化技术来处理非凸正则项，然后采用半光滑牛顿方法来解决相应的凸松弛子问题。证明了在一定的技术假设下，半光滑牛顿法产生的子问题序列具有快速的局部收敛速度。最后通过数值实验验证了模型的优越性和算法的先进性。
2021-11-24 math.OC
Quaternion Optimized Model with Sparse Regularization for Color Image Recovery
University of Macau（澳门大学）；Zhejiang Normal University（浙江师范大学）
本文根据变换域中稀疏正则化的特点，提出了低秩四元数矩阵优化的彩色图像补全问题。这项研究的灵感来自于这样一个事实，即不同的信号类型，包括音频格式和图像，拥有固有的稀疏结构，在其各自的基础。由于彩色图像可以在四元数域中作为一个整体进行处理，我们在四元数离散余弦变换（QDCT）域中描述了彩色图像的稀疏性。此外，彩色图像固有的低秩结构的表示是四元数矩阵完备问题中的一个至关重要的问题。为了获得更好的低秩近似，基于四元数的截断核范数（QTNN）被用于所提出的模型。此外，该模型是由一个主管交替方向的乘子法（ADMM）的基础上的算法。大量的实验结果表明，所提出的方法可以产生非常优越的完成性能相比，最先进的低秩矩阵/四元数矩阵近似方法测试的彩色图像恢复。
2022-04-19 cs.CV eess.IV math.OC
Exact recovery low-rank matrix via transformed affine matrix rank minimization
仿射矩阵秩最小化问题的目标是在线性约束下重构一个低秩或近似低秩的矩阵。一般来说，这个问题是组合的和NP-难的。本文研究了一个非凸分式函数来近似矩阵的秩，并将这个NP难问题转化为一个变换的仿射矩阵秩最小化问题。建立了这两个问题之间的等价性，证明了变换后的仿射矩阵秩最小化问题的全局最小解的唯一性在满足一定条件的情况下也解决了仿射矩阵秩最小化问题。证明了变换后的仿射矩阵秩最小化问题的最优解可以通过求解其正则化问题来近似得到，并给出了适当的小$λ>0$ .最后，利用DC算法求解正则化变换后的仿射矩阵秩最小化问题，并对图像修复问题进行了数值实验，结果表明，与现有的一些算法相比，该方法在恢复低秩图像方面具有较好的效果。
2018-06-20 math.OC
Risk estimation for matrix recovery with spectral regularization
CEREMADE, CNRS, Université Paris-Dauphine（巴黎第九大学法国国家科学研究中心CEREMADE研究所）；GREYC, CNRS-ENSICAEN-Université de Caen（卡昂大学法国国家科学研究中心-卡昂国立高等工程师学院GREYC研究所）；IMB, Université Bordeaux 1（波尔多第一大学IMB研究所）
在本文中，我们开发了一种方法来递归估计的二次风险的矩阵恢复问题正则化谱函数。为了达到这个目的，在SURE理论的精神，一个关键的步骤是计算一个解相对于观测的（弱）导数和发散。由于这样的解决方案是不可用的封闭形式，而是通过一个近似的分裂算法，我们建议递归计算的发散迭代序列。我们解锁的第二个挑战是计算谱函数的邻近算子的（弱）导数。为了显示我们的方法的潜在适用性，我们将其应用于矩阵补全问题，以客观地自动选择正则化参数。
2012-11-01 cs.IT cs.LG math.IT
Regularization properties of dual subgradient flow
本文研究对偶次梯度流的正则化性质，证明其在处理仅凸正则项时能达到与惩罚方法相同的恢复精度，且计算效率更高。
2023-05-11 math.OC
Stable Recovery of Regularized Linear Inverse Problems
本文研究了正则化线性反问题的稳定恢复，提出有限维空间中新刻画并揭示非光滑二阶信息作用，据此推导出分析组稀疏问题稳定恢复的新充分条件，数值实验验证了其有效性。
2025-05-29 math.OC
Max-Norm Optimization for Robust Matrix Recovery
本文研究了任意抽样方案下的矩阵完备化问题。我们提出了一个新的估计，结合最大范数和核范数正则化，基于此，我们可以进行有效的低秩矩阵恢复使用一般非均匀和未知的采样分布下的加性噪声观察到的条目的随机子集。该方法大大放松了广泛使用的核范数惩罚方法所施加的均匀采样假设，并使低秩矩阵恢复在更实际的环境中变得可行。理论上，我们证明了所提出的估计器在不同的设置下实现快速收敛。在计算上，我们提出了一种交替方向的乘子算法来有效地计算估计量，它弥补了最大范数正则化机器学习方法理论与实践之间的差距。此外，我们提供了彻底的数值研究，以评估所提出的方法使用模拟和真实的数据集。
2016-09-24 math.OC stat.ML
An unbiased approach to low rank recovery
近年来，低秩恢复问题一直是研究的热点。虽然秩函数对于正则化是有用的，但是由于其非凸性和不连续性而难以优化。对此的标准补救措施是将秩函数交换为凸核范数，已知凸核范数在某些条件下有利于低秩解。在缺点上，核范数表现出收缩的偏差，在存在噪声的情况下会严重扭曲解决方案，这促使使用更强的非凸替代方案。在本文中，我们研究两个这样的配方。我们刻画了临界点的特征，并给出了低秩不动点唯一的充分条件。此外，我们推导出的条件，确保全局最优的低秩平稳点，并表明这些举行下适度的噪声水平。
2021-08-15 math.OC
Learning Maximally Monotone Operators for Image Recovery
我们介绍了一种新的范式来解决正则化变分问题。这些通常被制定为解决信号和图像处理中遇到的不适定逆问题。目标函数传统上通过将正则化函数添加到数据拟合项来定义，随后通过使用迭代优化算法来最小化数据拟合项。最近，有几个作品提出了一个更复杂的去噪器，以取代运营商有关的正则化。这些方法被称为即插即用（Plug-and-Play，PIPE）方法，表现出了出色的性能。虽然人们已经注意到，根据一些Lipschitz性质的去噪器，所得到的算法的收敛性得到保证，很少有人知道的特征渐近交付的解决方案。在本文中，我们建议解决这个限制。更具体地说，我们不采用函数正则化，而是执行算子正则化，其中以监督方式学习最大单调算子（MMO）。这种提法是灵活的，因为它允许的解决方案，其特征在于通过广泛的变分不等式，它包括凸正则化作为特殊情况。从算法的角度来看，所提出的方法包括由神经网络（NN）代替的MMO的解决方案。我们提出了一个通用的逼近定理证明，非扩张NN是合适的模型的预解的一个广泛的类MMO。因此，所提出的方法提供了一个良好的理论框架，分析一阶Pestrian算法的渐近行为。此外，我们提出了一个数值策略，训练神经网络对应的MMO的解决方案。我们将我们的方法应用于图像恢复问题，并证明其有效性的收敛性和质量。
2021-04-21 eess.IV math.OC
Time-Varying Graph Signal Recovery Using High-Order Smoothness and Adaptive Low-rankness
针对时变图信号恢复问题，提出结合高阶Sobolev光滑性与误差函数加权核范数正则化的方法，设计两种高效算法并证明其一收敛性，实验验证其效果优于现有最优方法。
2024-05-16 cs.NA eess.SP math.NA
An Efficient ADMM Method for Ratio-Type Nonconvex and Nonsmooth Minimization in Sparse Recovery
本文针对非凸非光滑的比率型稀疏恢复问题，提出了一种高效的ADMM方法，在理论上证明了收敛性，并通过实验验证了其在稀疏恢复和神经网络稀疏化中的优越性能。
2025-09-26 math.OC
A Nonconvex Nonsmooth Regularization Method for Compressed Sensing and Low-Rank Matrix Completion
本文研究了压缩感知（CS）和低秩矩阵完备（MC）的非凸非光滑模型。将问题转化为一个非凸的正则化最小二乘最优化问题，其中l0范数和秩函数分别用l1范数和核范数代替，并分别增加一个非凸的罚函数.提出了一种交替极小化方案，证明了由交替算法产生的子序列收敛于一个临界点的存在性。对于非凸正则化CS和MC问题，分别分析了NSP、RIP和RIP稳定恢复保证条件。最后，通过实验结果证明了所提出的方法的性能。
2016-05-02 math.OC
On Convex Envelopes and Regularization of Non-Convex Functionals without moving Global Minima
我们提供了理论计算的非凸泛函，包括一个L2-长期的凸信封，并使用这些建议一种方法正则化一组更一般的问题。这些应用特别针对压缩感知和低秩恢复问题，但理论依赖于可能对其他类型的非凸问题也有用的结果。对于最优化问题的l2项包含一个奇异矩阵，我们证明了正则化永远不会移动的全局极小。这一结果反过来依赖于一个定理的结构凸信封这是有趣的本身。它说，在凸包络不接触非凸泛函的任何点上，我们必然有一个方向，在这个方向上，凸包络是仿射的。
2018-11-07 math.OC
Sparse Recovery via Partial Regularization: Models, Theory and Algorithms
Simon Fraser University（西蒙弗雷泽大学）
在稀疏恢复的上下文中，已知大多数现有的正则化器（诸如$\ell_1$）遭受由相关联的向量的一些前导条目（在幅度上）引起的一些偏差。为了消除这种偏见，我们提出了一类模型与部分正则化恢复稀疏解的线性系。我们发现，这些模型的每一个局部极小是足够稀疏的或其所有的非零项的幅度是以上的一个统一的常数只依赖于数据的线性系。此外，对于一类部分正则化子，这些模型的任何全局极小解都是线性系的稀疏解。我们还建立了线性系稀疏解局部或整体恢复的充分条件，其中一个条件弱于$\ell_1$关于稀疏恢复的最佳限制等距性（RIP）条件.此外，一阶可行的增广拉格朗日（FAL）方法，提出了解决这些模型，其中每个子问题是由一个非单调近似梯度（NPG）方法求解。尽管部分正则化的复杂性，我们表明，在NPG中的每个邻近子问题可以解决一定数量的一维最优化问题，通常有一个封闭的形式的解决方案。我们还证明了FAL产生的序列的任何聚点都是模型的一阶平稳点。压缩感知和稀疏逻辑斯谛回归的数值结果表明，所提出的模型大大优于文献中广泛使用的解决方案的质量。
2015-11-23 cs.IT cs.LG math.IT
Square Root Principal Component Pursuit: Tuning-Free Noisy Robust Matrix Recovery
Columbia University（哥伦比亚大学）
我们提出了一个新的框架-平方根主成分追踪-低秩矩阵恢复与噪声和离群值损坏的观察。受平方根Lasso的启发，这种新的公式不需要噪声水平的先验知识。我们表明，一个单一的，普遍的正则化参数的选择足以实现重建误差成正比（先验未知）的噪声水平。相比之下，以前的配方，如稳定的PCP依赖于噪声相关的参数来实现类似的性能，因此在噪声水平未知的应用中部署具有挑战性。我们通过模拟和真实数据集上的实验验证了我们的新方法的有效性。我们的模拟证实了正则化参数的普遍选择在一系列噪声水平上产生接近最佳性能的说法，表明所提出的方法优于这里证明的（有点松散的）界限。
2021-10-28 cs.LG eess.SP math.OC
Radius of Information for Two Intersected Centered Hyperellipsoids and Implications in Optimal Recovery from Inaccurate Data
本文研究两个同心超椭球交集模型下的线性量最优恢复，证明存在由约束正则化给出的线性最优方法，并通过半定规划计算参数及最小最坏情况误差。
2024-01-20 math.FA math.OC
Don't relax: early stopping for convex regularization
Ecole Politechnique（巴黎综合理工学院）；Istituto Italiano di Tecnologia（意大利技术研究院）；Massachusetts Institute of Technology（麻省理工学院）；Università di Genova（热那亚大学）；Politecnico di Milano（米兰理工大学）；EPFL（洛桑联邦理工学院）
我们考虑的问题，设计有效的正则化算法时，正则化编码的（强）凸泛函。与经典的惩罚方法的基础上放松的方法，我们提出了一个迭代法正则化是通过提前停止。我们的研究结果表明，所提出的方法达到了相同的恢复精度的惩罚方法，同时自然地集成计算的考虑。对一些问题的实证分析提供了有希望的结果与最先进的。
2017-07-18 cs.LG math.OC
SWAGGER: Sparsity Within and Across Groups for General Estimation and Recovery
罚函数或正则化项可以促进最优化问题的结构化解决，在许多领域都有很大的兴趣。在这项工作中提出的是一个非凸结构的稀疏惩罚，促进一个向量中的任意重叠组内的稀疏性。这允许在最优化问题的解决方案中强制组件之间的互斥性。我们展示了多个示例用例（包括全变差变体），展示了它与其他正则化器之间的协同作用，并提出了一种算法来有效地解决被拟议惩罚正则化或约束的问题。
2020-06-18 eess.SP math.OC
A Non-Local Structure Tensor Based Approach for Multicomponent Image Recovery Problems
CNRS LTCI（法国国家科学研究中心电信与信息处理实验室）；ENS Lyon（里昂高等师范学院）；Laboratoire de Physique（物理实验室）；UMR CNRS 5672（法国国家科学研究中心联合研究单位5672）；LIGM（马恩拉瓦莱计算机科学实验室）；UMR CNRS 8049（法国国家科学研究中心联合研究单位8049）
本文提出基于非局部总变分的多组件图像恢复方法，利用梯度得到的结构张量，通过ℓ_{1,p}矩阵范数惩罚非局部变化，改进收敛速度。
2014-10-14 cs.CV cs.NA math.NA
Iterative regularization for low complexity regularizers
迭代正则化利用优化算法的隐式偏差来正则化不适定问题。构建具有这种内置正则化机制的算法是反问题中的经典挑战，也是现代机器学习中的经典挑战，与显式正则化相比，它提供了算法分析的新视角和显式加速。在这项工作中，我们提出并研究了第一个迭代正则化过程，能够处理非光滑和非强凸泛函描述的偏差，在低复杂度正则化突出。我们的方法是基于一个原始对偶法，我们分析的收敛性和稳定性，即使在原问题是不可行的情况下。一般结果示出考虑稀疏恢复与$\ell_1$处罚的特殊情况。我们的理论结果的补充实验表明，我们的方法的计算效益。
2022-02-01 math.OC stat.ML
Optimal Recovery from Inaccurate Data in Hilbert Spaces: Regularize, but what of the Parameter?
Texas A&M University（德克萨斯农工大学）
在最优恢复中，从观测数据中学习函数的任务是通过采用与待学习函数的明确模型假设相关的最坏情况视角来确定性地处理的。在希尔伯特空间的框架下，本文考虑了一个基于可逼近性的模型假设。它还包括通过$\ell_2$中有界的附加误差建模的观测不准确性。早期的工作已经证明，正则化提供了在这种情况下最优的算法，但没有完全确定所需的超参数。本文填补了本地场景和全局场景中的空白。在当地的情况下，这相当于切比雪夫中心的确定，贝克和埃尔达的半定配方（合法有效的复杂的设置只）补充了一个更直接的方法，与条件是，观察泛函有正交规范的代表。在所述方法中，期望的参数是可以通过标准方法求解的方程的解。在全局情况下，线性算法规则，在Micchelli等人的作品中难以捉摸的参数。被发现作为一个半定规划的副产品。此外，令人惊讶的是，在具有正交表示的观测泛函的情况下，可以确定任何正则化参数都是最优的。
2021-11-04 cs.LG math.OC
Accuracy guaranties for $\ell_1$ recovery of block-sparse signals
我们引入了一个通用框架来处理结构化模型（稀疏模型和可能存在重叠块的块稀疏模型）。我们讨论了新的方法，从不完整的观察，破坏了确定性和随机噪声，使用块$\ell_1$正则化。虽然目前的理论提供了一些不同的，但大多难以验证的条件下的恢复错误的有前途的界限，我们的重点是可验证的条件上的问题参数（感测矩阵和块结构），保证准确的恢复。验证我们的条件，不仅导致有效地可计算的恢复误差的界限，但也使我们能够优化这些误差界的方法参数，从而构建估计与改进的统计特性。为了证明我们的方法，我们还提供了一个预言不等式，该不等式将所提出的恢复算法的属性和最佳估计性能联系起来。此外，利用这些可验证的条件，我们开发了一个计算成本低的替代块- $\ell_1$最小化，非欧几里德块匹配追踪算法。最后，我们提出了一个数值研究，调查不同的块正则化的效果，并证明了所提出的恢复的性能。
2013-02-27 math.OC math.ST stat.ML
Recovery of a Time-Dependent Bottom Topography Function from the Shallow Water Equations via an Adjoint Approach
我们发展了一种伴随方法来恢复地形函数中包含的源项的一维双曲平衡定律。我们专注于一个特定的系统，即浅水方程，以恢复河床地形。这项工作的新颖之处是能够鲁棒地恢复底部地形只使用噪声边界数据从一个测量事件和包括两个正则化项的迭代更新计划。伴随方案是由前向系统的线性化确定的，并用于计算费用函数的梯度。通过三算子分裂法给出的迭代过程恢复海底地形函数，该方法允许包括两个正则化项的可行性。大量的数值试验表明，该方法的鲁棒性，无论初始猜测的选择和存在的不连续性的解决方案的前向问题。
2021-04-02 cs.NA math.NA math.OC
Regularized Kaczmarz Algorithms for Tensor Recovery
近年来，张量恢复在交通运输、医学成像、遥感等领域得到了广泛的应用。在假设信号具有稀疏和/或低秩结构的情况下，已经开发了许多张量恢复方法来应用各种正则化技术以及算子分裂类型的算法。由于数据的前所未有的增长，越来越希望使用流线型算法来实现实时计算，例如最近出现的作为机器学习中的有效方法家族的随机最优化算法。在这项工作中，我们提出了一种新的算法框架的基础上的Kaczmarz算法的张量恢复。我们提供了彻底的收敛性分析及其应用，从向量的情况下，张量之一。各种张量恢复应用，包括稀疏信号恢复，低秩张量恢复，图像修复和反卷积的数值结果，说明了所提出的方法的巨大潜力。
2021-02-13 cs.NA math.NA math.OC
Sharp recovery and landscape guarantees for the nonconvex matrix LASSO
Dept. of Electrical and Computer Engineering, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校电气与计算机工程系）
本文研究了在RIP条件下非凸矩阵LASSO的第二阶临界点恢复性能，揭示了核范数正则化的作用，并探讨了秩过参数化对优化景观的影响，提出在特定条件下非凸方法可近似恢复凸问题的低秩极值。
2026-04-21 math.OC math.ST stat.TH
From sparse recovery to plug-and-play priors, understanding trade-offs for stable recovery with generalized projected gradient descent
Univ. Bordeaux, Bordeaux INP, CNRS, IMB（波尔多大学，波尔多理工学院，法国国家科学研究中心，数学研究所）
本文提出了一种通用投影梯度下降框架，结合深度投影先验，以提高稀疏恢复和图像逆问题中的稳定性和鲁棒性。
2025-12-08 cs.NE eess.IV math.OC
Sparse estimation via $\ell_q$ optimization method in high-dimensional linear regression
Zhejiang University（浙江大学）；Shenzhen University（深圳大学）；The Hong Kong Polytechnic University（香港理工大学）；Chinese Academy of Sciences（中国科学院）
在本文中，我们讨论的$\ell_q$优化方法$(0<q\leq 1)$的统计特性，包括$\ell_q$最小化方法和$\ell_q$正则化方法，估计一个稀疏的参数从噪声观测高维线性回归的确定性或随机设计。为此，我们引入了一般的$q$-限制特征值条件（REC），并利用稀疏特征值条件、限制等距性和互不相干性等正则条件给出了REC的充分条件.借助于$q$-REC，我们证明了$\ell_q$优化方法的$\ell_2$恢复界$O(ε^2)$和$\ell_q$正则化方法的Oracle不等式和$\ell_2$恢复界$O(λ^{\frac{2}{2-q}}s)$分别以高概率成立，从而证明了$\ell_q$优化方法对确定性设计和随机设计的稳定恢复性质.本文的结果是非渐近的，并且仅假设弱$q$-REC.初步的数值结果验证了所建立的统计性质，并表明了$\ell_q$正则化方法优于现有的一些稀疏优化方法.
2019-11-12 cs.LG math.OC stat.ML
A First Course in Sparse Optimization
本文为稀疏优化入门提供全面概述，涵盖稀疏信号恢复与正则化技术，平衡直观解释与数学理论，适用于新手和专业人士。
2026-01-07 cs.NA math.HO math.NA
Global Convergence of Iteratively Reweighted Least Squares for Robust Subspace Recovery
本文首次为鲁棒子空间恢复中的IRLS提供了全局收敛性保证，并扩展到仿射子空间估计，展示了其在低维神经网络训练中的实际应用价值。
2026-11-03 cs.LG math.OC stat.ML
Stochastic Orthogonal Regularization for deep projective priors
本文提出随机正则化深度投影先验，以提升深度投影先验在逆问题中的收敛速度和鲁棒性。
2025-12-08 cs.NE eess.IV math.OC
