Max-Norm Optimization for Robust Matrix Recovery
本文研究了任意抽样方案下的矩阵完备化问题。我们提出了一个新的估计，结合最大范数和核范数正则化，基于此，我们可以进行有效的低秩矩阵恢复使用一般非均匀和未知的采样分布下的加性噪声观察到的条目的随机子集。该方法大大放松了广泛使用的核范数惩罚方法所施加的均匀采样假设，并使低秩矩阵恢复在更实际的环境中变得可行。理论上，我们证明了所提出的估计器在不同的设置下实现快速收敛。在计算上，我们提出了一种交替方向的乘子算法来有效地计算估计量，它弥补了最大范数正则化机器学习方法理论与实践之间的差距。此外，我们提供了彻底的数值研究，以评估所提出的方法使用模拟和真实的数据集。
2016-09-24 math.OC stat.ML
Performance Guarantees for Schatten-$p$ Quasi-Norm Minimization in Recovery of Low-Rank Matrices
我们解决了一些理论保证$p$准范数最小化（$p \in (0,1]$）在恢复低秩矩阵从压缩的线性测量。首先，利用测量算子的零空间性质，给出了低秩矩阵精确恢复的一个充分条件。这个条件保证了唯一的恢复矩阵的秩等于或大于核范数最小化所保证的。其次，这个充分条件导致了一个定理证明了所有基于限制等距性质（RIP）的$\ell_p$拟范数最小化的充分条件推广到Schatten- $p$拟范数最小化。基于这个定理，我们提供了一些基于RIP的恢复条件。
2014-10-26 cs.IT math.IT stat.ML
Recovery of a mixture of Gaussians by sum-of-norms clustering
University of Waterloo（滑铁卢大学）
范数和聚类是一种使用凸优化将$\mathbb{R}^d$中的$n$点分配给$K$聚类$1\le K\le n$的方法。最近，Panahi et al.证明了在样本数不太大的限制下，范数和聚类保证恢复高斯混合。本说明的目的是取消这一限制，即，结果表明，具有相等权重的范数和聚类可以恢复高斯混合，即使样本数趋于无穷大。我们的证明依赖于一个有趣的特征集群计算的范数和聚类，是由Chiquet等人的凝聚猜想的证明内开发的。因为我们相信这个定理有独立的利益，我们重申和重新证明Chiquet等人。结果在此。
2019-02-19 cs.LG stat.ML
Exact Low Tubal Rank Tensor Recovery from Gaussian Measurements
Carnegie Mellon University（卡内基梅隆大学）；National University of Singapore（新加坡国立大学）；Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；AI Institute（360人工智能研究院）
最近提出的张量核范数（TNN）[Lu et al.，2016; 2018 a]是由张量SVD引起的一个有趣的凸惩罚[Kilmer和Martin，2011]。它起着类似于矩阵核范数的作用，是矩阵秩的凸代理。考虑到基于TNN的张量鲁棒PCA [Lu等人，2018 a]是Robust PCA的一个优雅扩展，具有类似的紧恢复界，很自然地解决了从矩阵情况扩展的其他低秩张量恢复问题。然而，扩展和证明通常是繁琐的。一般原子范数提供了低复杂度结构诱导范数的统一视图，例如，$\ell_1$ -范数和核范数。精确恢复的基础上原子规范的通用测量所需的数量的尖锐估计是已知的文献。在本文中，通过对原子集的仔细选择，我们证明了TNN是一个特殊的原子范数。然后，通过计算高斯宽度的某些锥，这是必要的尖锐估计，我们得到了一个简单的界保证低管秩张量恢复高斯测量。具体来说，我们表明，通过解决TNN最小化问题，潜在的张量的大小$n_1\times n_2\times n_3$与管秩$r$可以完全恢复时，给定的高斯测量数是$O(r(n_1+n_2-r)n_3)$。与自由度$r(n_1+n_2-r)n_3$相比，它是阶次最优的.在高斯映射的基础上，通过TNN极小化给出了基于均匀随机映射的张量完备化的恢复保证。数值实验验证了我们的理论结果。
2018-06-07 cs.LG stat.ML
Column $\ell_{2,0}$-norm regularized factorization model of low-rank matrix recovery and its computation
本文研究了低秩矩阵恢复问题的列$\ell_{2,0}$ -正则因子分解模型及其计算。引入因子矩阵的列$\ell_{2,0}$ -范数，以提高因子矩阵的列稀疏性和低秩解的稀疏性。对于这种非凸的不连续最优化问题，我们提出了一种带外推的交替优化-最小化（AMM）方法，以及一种混合AMM方法，该方法首先提出了一种优化交替邻近方法来寻找具有较少非零列的初始因子对，然后采用带外推的AMM来最小化光滑非凸损失。我们提供了整体收敛分析所提出的AMM方法，并将其应用到矩阵完成问题的非均匀采样计划。通过模拟数据和实际数据进行了数值实验，并与核范数正则化因子分解模型和最大范数正则化凸模型进行了比较，结果表明，列$\ell_{2,0}$正则化因子分解模型具有在较短时间内提供较低误差和秩的解的优势.
2021-12-26 math.OC stat.ML
Recovery Guarantees for Compressible Signals with Adversarial Noise
Symantec（赛门铁克）；San Jose State University（圣何塞州立大学）
我们提供恢复保证可压缩信号已被破坏的噪声和扩展的框架中引入的\cite{bafna2018thwarting}，以保护神经网络对$\ell_0$规范，$\ell_2$规范，和$\ell_{\infty}$规范攻击。我们的结果是一般的，因为它们可以应用到大多数酉变换在实践中使用，并保持$\ell_0$ -范数，$\ell_2$ -范数，和$\ell_\infty$ -范数有界噪声。在$\ell_0$ -范数噪声的情况下，我们证明了恢复保证迭代硬保持（IHT）和基追踪（BP）。对于$\ell_2$ -范数有界噪声，我们提供恢复保证BP和$\ell_\infty$ -范数有界噪声的情况下，我们提供恢复保证Dantzig？这些保证在理论上支持了\cite{bafna2018thwarting}中引入的防御框架，用于防御神经网络对抗性输入。最后，我们通过实验证明了该防御框架对$\ell_0$，$\ell_2$和$\ell_\infty$范数攻击的有效性。
2019-08-07 cs.CR cs.CV cs.DS
Impulsive Noise Robust Sparse Recovery via Continuous Mixed Norm
Sharif University of Technology（谢里夫理工大学）；Qom University of Technology（库姆理工大学）；Instituto Superior Técnico（高等理工学院）
研究了加性脉冲噪声背景下稀疏信号的恢复问题。重尾脉冲噪声是很好的建模与稳定的分布。由于$SαS$分布的概率密度函数没有明确的公式，因此使用诸如广义高斯分布（GGD）的替代近似，其对残差施加$\ell_p$范数保真度。在本文中，我们利用连续混合范数（CMN）的鲁棒稀疏恢复代替$\ell_p$ -范数。我们表明，在盲目的条件下，即，在噪声分布参数未知的情况下，结合CMN可以导致接近最佳的恢复。我们采用交替方向乘法（ADMM）解决的问题所引起的利用CMN的鲁棒稀疏恢复。在该方法中，CMN被替换为代理函数，并结合优化最小化技术来解决问题。仿真结果证实了所提出的方法的效率相比，最近在文献中的一些算法的脉冲噪声鲁棒稀疏恢复。
2018-04-12 cs.IT cs.LG eess.SP
Iterative Regularization with k-support Norm: An Important Complement to Sparse Recovery
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Nanjing University（南京大学）；Jilin University（吉林大学）
提出基于k-support范数的迭代正则化算法IRKSN，通过早停机制实现稀疏恢复，放宽了传统$\ell_1$范数方法的适用条件，并给出了具有显式常数的模型误差早停界限，实现标准线性收敛率。
2024-03-19 cs.LG eess.SP math.OC
Necessary and Sufficient Null Space Condition for Nuclear Norm Minimization in Low-Rank Matrix Recovery
University of Iowa（爱荷华大学）
低秩矩阵恢复在机器学习、信号处理、协同滤波、系统辨识和欧几里得嵌入等科学和工程领域有着广泛的应用。但低秩矩阵恢复问题是一个NP难问题，因此具有挑战性。一种常用的启发式方法是核范数最小化。在文献[12，14，15]中，作者建立了核范数极小化的充要零空间条件（强零空间条件），以恢复所有可能的秩不超过r的低秩矩阵。此外，在[12]中，Oymak等人利用核范数最小化建立了一个成功恢复给定低秩矩阵的零空间条件（弱零空间条件），并导出了核范数最小化的相变。本文证明了文[12]中的弱零空间条件只是利用核范数极小化成功恢复矩阵的一个充分条件，而不是文[12]中所声称的必要条件。本文进一步给出了低秩矩阵恢复的一个弱零空间条件，它是核范数极小化成功的充要条件。在我们的推导的核心是一个不等式的特征块矩阵的核范数，并在该不等式的等式成立的条件。
2018-02-14 cs.IT cs.LG eess.SP
Square Deal: Lower Bounds and Improved Relaxations for Tensor Recovery
Columbia University（哥伦比亚大学）
从不完全信息中恢复低秩张量是信号处理和机器学习中经常遇到的问题。最流行的凸松弛这个问题的最小化的总和核范数的张量展开。我们表明，这种方法可以是基本上次优的：可靠地恢复$K$ -方式张量的长度$n$和塔克秩$r$从高斯测量需要$Ω(r n^{K-1})$的意见。相比之下，某个（难以处理的）非凸公式只需要$O(r^K + nrK)$观测。我们引入了一个非常简单的，新的凸松弛，部分弥合这一差距。我们的新公式成功地与$O(r^{\lfloor K/2 \rfloor}n^{\lceil K/2 \rceil})$观测。虽然这些结果与高斯测量有关，但模拟强烈表明，新的范数也优于来自随机条目子集的张量完成的核范数之和。我们的核范数和模型的下限来自于恢复具有多个稀疏结构（例如稀疏，低秩）的信号的新结果，这可能令人惊讶地证明了通过最小化单个稀疏诱导范数（例如$l_1$，核范数）的和的常用恢复方法的显着次优性。然而，我们的低秩张量恢复的新公式打开了通过联合利用几种结构来降低样本复杂性的可能性。
2013-08-15 cs.LG stat.ML
Equivalent Lipschitz surrogates for zero-norm and rank optimization problems
GuangDong University of Technology（广东工业大学）；South China University of Technology（华南理工大学）
本文提出了一种机制，产生等价的Lipschitz代理零范数和秩优化问题的全局精确罚的等价的数学规划与平衡约束（MPECs）。具体地说，我们重新制定这些组合问题的等价MPEC的变分特征的零范数和秩函数，证明了他们的惩罚问题，通过移动的平衡约束到目标，是全球精确的惩罚，并获得等价的Lipschitz替代通过消除对偶变量的全球精确的惩罚。这些代理函数，包括统计学中常用的SCAD函数，也是两个凸函数（D.C.）如果零范数和秩优化问题中涉及的函数和约束集是凸的，则证明了这一点。我们说明了一个应用程序，通过设计一个多阶段的凸松弛方法的秩加零范数正则化最小化问题。
2018-04-30 cs.LG stat.ML
Factor Group-Sparse Regularization for Efficient Low-Rank Matrix Recovery
Cornell University（康奈尔大学）
本文提出了一类新的非凸正则化子，用于低秩矩阵的恢复。许多正则化子的动机是作为矩阵秩函数的凸松弛。我们的新的因子组稀疏正则化的动机是作为一个放松的非零列的矩阵分解的数量。这些非凸正则化子比核规范更尖锐，事实上，我们证明了它们与任意小$0 < p \leq 1$的Schatten-$p$规范有关。此外，这些因子组稀疏正则化器可以写成因子化的形式，从而实现高效和有效的非凸优化;值得注意的是，该方法不使用奇异值分解。我们提供了低秩矩阵完备化的泛化误差界，这表明随着$p$的减小，Schatten- $p$范数正则化的上界得到了改进。与核范数的最大范数和因子化形式相比，因子组稀疏正则化更有效，更准确，并且对秩的初始猜测具有鲁棒性。实验结果表明，因子组稀疏正则化方法在低秩矩阵完备化和鲁棒主成分分析中具有良好的性能。
2019-11-18 cs.LG stat.ML
Support recovery and sup-norm convergence rates for sparse pivotal estimation
Université Paris-Saclay（巴黎萨克雷大学）；IMAG（IMAG研究所）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Univ. Montpellier（蒙彼利埃大学）；CNRS（法国国家科学研究中心）
在高维稀疏回归中，关键估计量是最优正则化参数与噪声水平无关的估计量。典型的关键估计量是平方根Lasso，与其衍生物一起制定为“非光滑+非光滑”优化问题。解决这些问题的现代技术包括平滑计算项，以受益于快速有效的近似算法。在这项工作中，我们证明了非平滑和平滑，单任务和多任务平方根拉索型估计的极大极小超范数收敛速度。由于我们的理论分析，我们提供了一些关于如何设置平滑超参数的指导方针，并在合成数据上说明了这些指导方针的意义。
2020-09-03 cs.LG math.OC stat.ML
Recovery Bounds on Class-Based Optimal Transport: A Sum-of-Norms Regularization Framework
Chalmers University of Technology（查尔姆斯理工大学）；North Carolina State University（北卡罗来纳州立大学）
提出一种带范数和正则化项的凸最优传输规划及加速近端算法，在几何假设下可证明恢复类结构，实验表明其更好保留类结构且对数据几何更具鲁棒性。
2023-05-22 cs.LG stat.ML
KL property of exponent $1/2$ of $\ell_{2,0}$-norm and DC regularized factorizations for low-rank matrix recovery
South China University of Technology（华南理工大学）
本文研究秩正则化损失最小化问题的因式分解形式。为了满足只有粗略估计可用于真矩阵的秩的情况，将$\ell_{2,0}$范数正则化项添加到因子化的损失函数以自适应地降低秩;并且考虑因子分解中的模糊性，然后引入平衡项。对于最小二乘损失，在对采样算子的条件数作一定限制的假设下，建立了非光滑分解复合函数的指数$1/2$及其等价DC重构在其全局极小点集上的KL性质.我们还证实了理论研究结果，通过应用一个近似的线性化交替最小化方法的正则化因式分解。
2019-08-24 cs.LG math.OC stat.ML
Group-sparse Matrix Recovery
我们应用OSCAR（八角形选择和聚类算法回归）恢复组稀疏矩阵（二维-2D-阵列）从压缩测量。我们提出了一个二维版本的OSCAR（2 OSCAR）的$\ell_1$规范和成对的$\ell_{\infty}$规范，这是凸的，但不可微的。我们表明，2 OSCAR的邻近算子可以计算的基础上的OSCAR。因此，2 OSCAR问题可以有效地解决国家的最先进的邻近分裂算法。对组稀疏二维阵列恢复的实验表明，SpaRSA算法求解的2 OSCAR正则化是最快的选择，而PADMM算法（带去偏置）产生最准确的结果。
2014-02-20 cs.CV cs.LG stat.ML
Robust Tensor Completion via Gradient Tensor Nulclear L1-L2 Norm for Traffic Data Recovery
School of Mathematics and Statistics, Xi’an Jiaotong University（数学与统计学学院，西安交通大学）；Department of Civil Engineering, McGill University（土木工程系，麦吉尔大学）
针对交通数据同时存在缺失和噪声的双重退化问题，提出基于梯度张量核L1-L2范数的鲁棒张量补全模型RTC-GTNLN，无需权衡参数即可同时利用全局低秩性与局部一致性，在复杂恢复场景中优于现有方法。
2025-06-28 cs.LG eess.SP stat.ML
A Survey on Nonconvex Regularization Based Sparse and Low-Rank Recovery in Signal Processing, Statistics, and Machine Learning
Shanghai Jiao Tong University（上海交通大学）
在过去的十年中，稀疏和低秩恢复在信号/图像处理、统计学、生物信息学和机器学习等领域引起了广泛的关注。为了实现稀疏性和/或低秩诱导，$\ell_1$范数和核范数由于其凸性而成为最流行的正则化惩罚。虽然$\ell_1$和核范数是方便的，因为相关的凸优化问题通常是易处理的，但在许多应用中已经表明，非凸惩罚可以产生显着更好的性能。近年来，基于非凸正则化的稀疏和低秩恢复引起了人们的极大兴趣，事实上，它是非凸和非光滑优化的最新进展的主要驱动力。本文综述了这一主题在信号处理、统计和机器学习的各个领域，包括压缩感知（CS）、稀疏回归和变量选择、稀疏信号分离、稀疏主成分分析（PCA）、大协方差和逆协方差矩阵估计、矩阵完备和鲁棒PCA。我们目前的非凸正则化为基础的稀疏和低秩恢复在这些领域的最新发展，解决问题的惩罚选择，应用和非凸算法的收敛性。代码可在https://github.com/FWen/ncreg.git上获得。
2019-06-06 cs.IT cs.LG eess.SP
