Robust PCA via Outlier Pursuit
Department of Electrical and Computer Engineering, The University of Texas at Austin（德克萨斯大学奥斯汀分校电气与计算机工程系）
奇异值分解（和主成分分析）是最广泛使用的降维技术之一：成功且可有效计算，但它仍然受到众所周知的，有据可查的异常值敏感性的困扰。最近的工作已经考虑了每个点都有一些任意损坏的组件的设置。然而，在SVD或PCA的应用中，如鲁棒协同过滤或生物信息学，恶意代理，有缺陷的基因，或简单的损坏或污染的实验可能会有效地产生完全损坏的整个点。我们提出了一个有效的基于凸优化的算法，我们称之为离群值追踪，在一些温和的假设下，对未损坏的点（满足，例如，通过PCA问题中的标准生成假设）恢复精确的最优低维子空间，并识别损坏点。这种不符合低维近似的损坏点的识别在生物信息学和金融应用等领域具有重要意义。我们的技术涉及使用核范数最小化的矩阵分解，然而，我们的结果，设置和方法，必然与矩阵完成和矩阵分解中的现有工作线有很大不同，因为我们开发了一种方法来恢复未损坏矩阵的正确列空间，而不是确切的矩阵本身。在任何问题中，人们试图恢复一个结构，而不是确切的初始矩阵，迄今为止开发的技术依赖于证书的最优性，将失败。我们提出了一个重要的扩展这些方法，允许治疗这样的问题。
2010-12-31 cs.IT cs.LG math.IT
Sparse spectral estimation with missing and corrupted measurements
缺失数据的监督学习方法已经得到了广泛的研究，这不仅仅是因为与低秩矩阵完成相关的技术。同样在无监督学习中，人们经常依赖于估算方法。事实上，缺失值会导致各种估计量（如样本协方差阵）的偏差。本文将稀疏子空间估计的一种凸方法推广到观测值丢失和损坏的情况。这是通过校正偏倚而不是插补缺失值来完成的。然后将估计量用作非凸过程的初始值，以提高整体统计性能。方法和理论框架适用于广泛的统计问题。其中包括稀疏主成分分析与不同类型的随机缺失数据和估计的特征向量的低秩矩阵与缺失值。最后，在合成数据上展示了统计性能。
2018-11-26 math.ST stat.ME stat.TH
Completing Any Low-rank Matrix, Provably
University of California, Berkeley（加州大学伯克利分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
矩阵完备化，即，从其元素的一个小子集中精确且可证明地恢复低秩矩阵，目前已知仅当矩阵在其行和列空间上满足限制性结构约束--称为{ \em不相干性}时才是可能的。在这些情况下，元素的子集被随机均匀地采样。在本文中，我们表明，{ \em任何}秩- $ r $ $ n$ -由- $ n $矩阵可以完全恢复从尽可能少的$O(nr \log^2 n)$随机选择的元素，提供这种随机选择是根据一个{ \em特定的偏置分布}：任何元素被采样的概率应该是成比例的相应行和列的杠杆分数的总和。也许同样重要的是，我们表明，这种特定形式的抽样几乎是必要的，在一个自然的精确意义上，这意味着其他可能更直观的抽样方案失败。我们进一步建立了三种方法，在杠杆分数未知时将上述结果用于设置\textit{a priori}：（a）用于只有一个行或列空间不相干的情况的采样策略，（b）用于一般矩阵的双重抽样过程，首先采样以估计杠杆分数，然后采样以精确恢复，以及（c）分析显示了在非均匀采样的情况下加权核/迹范数最小化相对于香草未加权公式化的优点。
2014-07-21 cs.IT cs.LG math.IT
Exactly Robust Kernel Principal Component Analysis
City University of Hong Kong（香港城市大学）
鲁棒主元分析（RPCA）可以在低秩矩阵被稀疏噪声污染时恢复低秩矩阵。然而，在实践中，许多矩阵是高秩的，因此不能通过RPCA恢复。我们提出了一种新的方法称为鲁棒核主成分分析（RKPCA）分解部分损坏的矩阵作为稀疏矩阵加上高或满秩矩阵具有低潜在维度。RKPCA可以应用于噪声去除和子空间聚类等许多问题，并且仍然是唯一对稀疏噪声具有鲁棒性的无监督非线性方法。理论分析表明，RKPCA具有较高的恢复精度。RKPCA的优化涉及非凸和不可微问题。我们提出了两个非凸优化算法的RKPCA。这两种方法分别是带回溯线搜索的交替方向乘子法和自适应步长的近似线性化极小化法。在噪声去除和鲁棒子空间聚类方面的比较研究证实了RKPCA的有效性和优越性。
2019-04-17 cs.LG stat.ML
Robust Principal Component Analysis: Exact Recovery of Corrupted Low-Rank Matrices
由于方程（71）附近的一个要害差错，该论文已被撤回。这个错误导致论文的整个论点崩溃。斯坦福大学的Emmanuel Candes发现了这个错误，并提出了一个正确的分析，这将在另一份出版物中报道。
2009-12-09 cs.IT math.IT
Static and Dynamic Robust PCA and Matrix Completion: A Review
Iowa State University（爱荷华州立大学）
主成分分析（PCA）是一种应用最广泛的降维技术。鲁棒主成分分析（RobustPCA，RPCA）是指当数据可能被异常值破坏时的主成分分析问题。Cand{è}s，Wright，Li和Ma最近的工作将RPCA定义为将给定数据矩阵分解为低秩矩阵（真实数据）和稀疏矩阵（离群值）之和的问题。然后，低秩矩阵的列空间给出PCA解。这个简单的定义导致了大量有趣的新工作，可证明是正确的，快速的，实用的解决方案RPCA。最近，RPCA问题的动态（时变）版本已被研究，并提出了一系列可证明正确的，快速的，高效的跟踪解决方案。动态RPCA（或鲁棒子空间跟踪）是跟踪位于（缓慢）变化的子空间中的数据，同时对稀疏离群值具有鲁棒性的问题。本文提供了一个详尽的回顾过去十年的文献RPCA及其动态对应（鲁棒子空间跟踪），随着描述他们的理论保证，讨论各种方法的利弊，并提供性能和速度的实证比较。还提供了（低秩）矩阵完成文献的简要概述（重点是在其他最近的评论中没有讨论的作品）。这是指当仅观察到其条目的子集时完成低秩矩阵的问题。它可以被解释为RPCA的一个更简单的特殊情况，其中异常值损坏条目的索引是已知的。
2018-05-25 cs.IT cs.LG math.IT
Rank penalized estimators for high-dimensional matrices
本文考虑迹回归模型。假设我们观察到被噪声破坏的未知矩阵$A_0$的一小组项或项的线性组合。我们提出了一个新的秩惩罚估计$A_0$。对于这个估计量，我们建立了关于预测误差的概率和期望的一般预言不等式。我们还证明了我们的估计的秩的上界。然后，我们应用我们的一般结果的问题，矩阵完成和矩阵回归。在这些情况下，我们的估计有一个特别简单的形式：它是通过硬阈值的奇异值的矩阵构造的意见。
2011-09-12 math.ST stat.TH
Matrix Completion for the Independence Model
研究了标准单纯形中部分矩阵完备为秩一矩阵的问题。研究这个问题的动机来自于统计：缺乏合格的完成可以为来自独立模型的部分观测提供证伪检验。对于每一种指定项的模式，我们给出满足的方程和不等式当且仅当一个合格的完成存在。我们还描述了一组有效的完成，我们优化了这个集合。
2016-04-28 math.AG math.CO math.ST
Group Lasso estimation of high-dimensional covariance matrices
本文考虑加性噪声污染下随机过程协方差阵的Group Lasso估计。我们建议估计的协方差阵在高维设置的假设下，该过程具有稀疏表示在一个大的字典的基函数。使用矩阵回归模型，我们提出了一种新的方法，用于高维协方差阵估计的经验对比正则化的组Lasso惩罚。使用这样的惩罚，该方法在用于近似处理的字典中选择稀疏的基函数集合，导致协方差阵近似到低维空间中。估计的一致性研究在Frobenius和运营商的规范和稀疏PCA的应用程序提出。
2011-10-24 math.ST stat.TH
Robust PCA by Manifold Optimization
鲁棒PCA是一种广泛使用的统计过程，用于恢复具有严重损坏的观测值的底层低秩矩阵。本文将鲁棒PCA问题视为低秩矩阵流形上的非凸优化问题，提出了两种基于流形优化的鲁棒PCA算法。结果表明，与一个适当的设计初始化，所提出的算法是保证收敛到底层的低秩矩阵线性。与基于低秩矩阵Burer-Monterio分解的算法相比，该算法在理论上降低了对低秩矩阵条件数的依赖性.仿真和实际数据的例子证实了我们的方法的竞争力。
2017-09-01 stat.CO stat.ML
Mutual Kernel Matrix Completion
Gunma University（群马大学）；Ochanomizu University（御茶水女子大学）
本文提出互核矩阵补全算法，通过融合数据与核矩阵补全方法，提升生物数据分类任务中缺失核矩阵的补全效果。
2017-05-10 cs.LG cs.NA math.NA
Mixture Matrix Completion
Georgia State University（佐治亚州立大学）
完成数据矩阵X已成为现代数据科学中普遍存在的问题，其应用于推荐系统、计算机视觉和网络推理等。一个典型的假设是X是低秩的。一个更一般的模型假设X的每一列对应于几个低秩矩阵之一。本文将这些模型推广到我们称之为混合矩阵完备（MMC）的情况下，X的每个条目对应于几个低秩矩阵之一。MMC是一个更准确的推荐系统模型，并带来了更多的灵活性，以其他完成和聚类问题。我们对这一新模式做出了四个基本贡献。首先，我们证明了MMC在理论上是可能的（适定性）。其次，我们给出了它的精确的信息论可识别性条件。第三，我们推导了MMC的样本复杂度。最后，我们给出了一个实用的算法MMC与性能相媲美的国家的最先进的简单的相关问题，合成和真实的数据。
2018-08-02 cs.LG stat.ML
Targeted matrix completion
University of Southern California（南加州大学）
矩阵补全是在许多数据分析设置中出现的问题，其中输入由部分观察的矩阵组成（例如，推荐系统、流量矩阵分析等）。经典的矩阵完备化方法假设输入的部分观测矩阵是低秩的。这些方法的成功取决于观察到的条目的数量和矩阵的秩;秩越大，为了准确地完成矩阵，需要观察的条目就越多。在本文中，我们处理矩阵，不一定是低秩本身，而是他们包含低秩子矩阵。我们提出了有针对性的，这是一个通用的框架，完成这样的矩阵。在这个框架中，我们首先提取低秩子矩阵，然后分别对这些低秩子矩阵和剩余矩阵应用矩阵完备化算法。虽然对于完成本身，我们使用国家的最先进的完成方法，我们的结果表明，有针对性的实现显着较小的重建误差比其他经典的矩阵完成方法。本文的关键技术贡献之一在于从输入部分可观测矩阵中识别出低秩子矩阵。
2017-04-30 cs.LG stat.ML
Color Image Inpainting via Robust Pure Quaternion Matrix Completion: Error Bound and Weighted Loss
The University of Hong Kong（香港大学）
本文将彩色图像修补问题作为一个纯四元数矩阵补齐问题进行研究。在文献中，四元数矩阵完备化的理论保证并不完善。我们的主要目的是提出一个新的最小化问题的目标结合核范数和三个通道之间的二次损失加权。为了填补这一理论空白，我们利用四元数矩阵的一些新结果，得到了在干净和损坏两种情况下的误差界。一般的高斯噪声被认为是在鲁棒完成，其中所有的观察是损坏的。受误差界的启发，我们建议通过二次损失中的跨信道权重来处理不平衡或相关噪声，其主要目的是重新平衡噪声水平或去除噪声相关性。合成和彩色图像数据的广泛的实验结果，以确认和证明我们的理论研究结果。
2022-10-26 cs.CV math.ST stat.TH
Dense Error Correction for Low-Rank Matrices via Principal Component Pursuit
我们考虑的问题，恢复低秩矩阵时，它的一些条目，其位置是不知道的先验，被损坏的错误任意大的幅度。最近的研究表明，这个问题可以有效地解决了一个凸计划命名为主成分追踪（PCP），只要损坏的条目和矩阵的秩都足够小的分数。在本文中，我们扩展的结果表明，相同的凸计划，略有改善的加权参数，准确地恢复低秩矩阵，即使“几乎所有”的条目是任意损坏的，提供的错误的符号是随机的。我们证实了我们的结果与随机生成的矩阵和错误的模拟。
2010-01-22 cs.IT math.IT
Uniform Recovery Bounds for Structured Random Matrices in Corrupted Compressed Sensing
我们研究的问题，恢复$s$稀疏信号$\mathbf{x}^{\star}\in\mathbb{C}^n$从损坏的测量$\mathbf{y} = \mathbf{A}\mathbf{x}^{\star}+\mathbf{z}^{\star}+\mathbf{w}$，其中$\mathbf{z}^{\star}\in\mathbb{C}^m$是一个$k$稀疏腐败向量，其非零项可以是任意大的和$\mathbf{w}\in\mathbb{C}^m$是一个密集的噪声有界能量。其目标是通过易于处理的优化程序来精确稳定地恢复稀疏信号。在本文中，我们证明了该问题的一致恢复保证两类结构传感矩阵。第一类可以表示为单位范数紧框架（UTF）、随机对角矩阵和有界列正交矩阵（例如，部分随机循环矩阵）。当UTF是有界的（即$μ(\mathbf{U})\sim1/\sqrt{m}$），我们证明，以高概率，可以恢复$s$ -稀疏信号精确和稳定的$l_1$最小化程序，即使测量被损坏的稀疏向量，提供$m = \mathcal{O}(s \log^2 s \log^2 n)$和腐败的稀疏水平$k$是一个恒定的分数的测量总数。第二类考虑随机子采样正交矩阵（例如，随机傅立叶矩阵）。我们证明了统一的恢复保证腐败是稀疏的某些稀疏域。大量的仿真结果也被提出来验证和补充的理论结果。
2018-02-07 cs.IT math.IT
Matrix Denoising with Partial Noise Statistics: Optimal Singular Value Shrinkage of Spiked F-Matrices
针对未知协方差噪声下的低秩矩阵估计，提出利用纯噪声侧信息的 WSC 工作流，并推导尖峰 F 矩阵的渐近最优闭式奇异值收缩。
2023-07-15 cs.IT eess.SP math.IT
RGNMR: A Gauss-Newton method for robust matrix completion with theoretical guarantees
Weizmann Institute of Science（魏茨曼科学研究所）
RGNMR是一种具有理论保证的鲁棒矩阵补全方法，通过高斯-牛顿线性化和异常值移除技术，有效解决低秩矩阵补全问题，尤其在处理少量观测条目、秩过参数化和病态矩阵方面表现优异。
2025-12-14 cs.LG cs.NA math.NA
Recovery of Coherent Data via Low-Rank Dictionary Pursuit
Cornell University（康奈尔大学）；Rutgers University（罗格斯大学）
最近建立的RPCA方法为我们提供了一个方便的方法来恢复低秩矩阵从严重损坏的观察。虽然RPCA在理论上很优雅，在现实中很强大，但它可能不是低秩矩阵恢复问题的最终解决方案。事实上，即使数据是严格低秩的，它的性能也可能不完美。这是因为传统的RPCA忽略了在现代应用中普遍存在的数据的聚类结构。随着聚类数目的增加，数据的一致性不断增强，RPCA的恢复性能随之下降。我们表明，连贯数据（即，具有高一致性的数据）可以通过低秩表示（LRR）来缓解，只要LRR中的字典被适当地配置。更确切地说，我们从数学上证明，如果字典本身是低秩的，那么LRR是免疫的相干参数，增加了底层的集群数量。这为处理相干数据提供了一个基本原则。随后，我们设计了一个实用的算法，以获得适当的字典在无监督的环境。我们对随机生成矩阵的大量实验验证了我们的说法。
2014-07-16 cs.IT cs.LG math.IT
Robust Spectral Compressed Sensing via Structured Matrix Completion
Stanford University（斯坦福大学）；The Ohio State University（俄亥俄州立大学）
本文提出一种无需先验模型阶数的增强矩阵补全算法，用于恢复频谱稀疏信号，证明在满足一定不相干条件时，算法能在样本数超过r log⁴n时实现完美恢复，并对噪声和部分样本损坏具有鲁棒性。
2014-07-20 cs.IT cs.NA cs.SY
$e^{\text{RPCA}}$: Robust Principal Component Analysis for Exponential Family Distributions
本文提出e^{RPCA}方法，将鲁棒主成分分析扩展到指数族分布，并设计交替方向乘子法优化算法，在钢板缺陷检测和亚特兰大犯罪监测中验证了其有效性。
2023-10-30 stat.AP stat.ME stat.ML
Symmetric Tensor Completion from Multilinear Entries and Learning Product Mixtures over the Hypercube
UC Berkeley（加州大学伯克利分校）
我们给出了一个算法，完成一个阶$m$对称低秩张量从它的多线性项在时间大致成正比的张量条目的数量。我们应用我们的张量完成算法的学习混合产品分布的超立方体的问题，获得新的算法结果。如果产品分布的中心是线性独立的，那么我们恢复尽可能多的$Ω(n)$中心的分布在多项式时间和样本的复杂性。在一般情况下，我们恢复尽可能多的分布$\tildeΩ(n)$中心在准多项式时间，回答了一个公开的问题费尔德曼等人。对于具有非相干偏置向量的分布的特殊情况。我们的主要算法工具是迭代应用的低秩矩阵完成算法的矩阵与adversarially失踪的条目。
2015-11-23 cs.DS cs.LG stat.ML
Advancing Matrix Completion by Modeling Extra Structures beyond Low-Rankness
Rutgers University（罗格斯大学）
Cand{è}s和Recht建立了一种基于凸优化的著名的低秩矩阵完备化方法。虽然理论上是完备的，但该方法可能无法完全解决低秩矩阵完备化问题。这是因为该方法仅捕获低秩属性，其仅给出数据点位于某个低维子空间上的粗略约束，但通常忽略更详细地指定数据点如何位于子空间上的额外结构。当数据点的几何分布不均匀时，数据的相干参数可能很大，因此，即使我们想要恢复的潜在矩阵是相当低的秩，该方法也可能失败。为了更好地处理非均匀数据，在本文中，我们提出了一种称为低秩因子分解（LRFD）的方法，该方法施加了额外的限制，即数据点必须表示为预先构建或学习的字典中的基的线性组合。我们表明，LRFD可以很好地处理非均匀数据，只要字典配置正确：我们从数学上证明，如果字典本身是低秩的，那么LRFD是免疫的相干参数，这可能是大的非均匀数据。这为学习LRFD中的字典提供了一个基本原则，并且自然地导致了推进矩阵完成的实用算法。在随机生成的矩阵和运动数据集上进行的大量实验显示了令人鼓舞的结果。
2014-07-16 cs.IT cs.LG math.IT
Multi-reference factor analysis: low-rank covariance estimation under unknown translations
我们考虑的问题，估计的协方差阵的随机信号通过未知的翻译（由循环移位建模）和噪声损坏。解决这个问题允许发现低秩结构的存在的翻译（作为冗余参数）掩盖，直接应用到主成分分析（PCA）。我们假设基础信号的长度为$L$，并且遵循具有均值零和$r$正态分布因子的标准因子模型。在这种情况下，为了恢复协方差阵，我们建议采用称为$\textit{power spectrum}$和$\textit{trispectrum}$的信号的二阶和四阶平移不变矩。我们证明了他们是足够的恢复协方差阵（在一定的技术条件下）时，$r<\sqrt{L}$。相应地，我们提供了一个多项式时间的程序估计协方差阵从许多（翻译和噪声）的意见，其中没有明确的知识$r$是必需的，并证明该程序的统计一致性。虽然我们的研究结果建立，协方差估计是可能的功率谱和低秩协方差阵的三谱，我们证明，这是不是满秩协方差阵的情况下。我们进行了数值实验，证实了我们的理论研究结果，并证明了我们的算法在各种设置，包括在高水平的噪声的良好性能。
2020-09-21 cs.DS cs.IT math.IT
Nonconvex Low-Rank Matrix Recovery with Arbitrary Outliers via Median-Truncated Gradient Descent
最近的工作已经证明了梯度下降的有效性，直接恢复低秩矩阵的随机线性测量的因素在一个全局收敛的方式时，适当的初始化。然而，现有的算法的性能是高度敏感的离群值，可能采取任意值的存在。本文提出了一种截断梯度下降算法来提高对离群值的鲁棒性，其中进行截断以在每次迭代中自适应地排除与测量残差的{ \em样本中位数}显着偏离的样本的贡献。我们证明，当初始化在一个盆地的吸引力接近地面真相，所提出的算法收敛到地面真相的高斯测量模型与一个接近最佳数量的测量，即使当一个恒定的分数的测量是任意损坏的线性速率。此外，我们提出了一个新的截断谱方法，确保初始化在盆地的吸引力在稍高的要求。我们最后提供了数值实验来验证所提出的方法的优越性能。
2017-09-23 cs.IT math.IT stat.ML
Robust PCA and subspace tracking from incomplete observations using L0-surrogates
数据分析中的许多应用依赖于将数据矩阵分解为低秩和稀疏分量。现有的方法，解决这个任务使用核范数和L1成本函数作为凸松弛的秩约束和稀疏性措施，分别，或采用阈值技术。我们提出了一种方法，允许重建和跟踪一个子空间的上限尺寸不完整和损坏的意见。它不需要有关离群值数量的任何先验信息。我们的算法的核心是一个内在的共轭梯度法的正交投影矩阵，所谓的格拉斯曼。非凸稀疏性措施被用于离群检测，这导致在鲁棒恢复和跟踪低秩矩阵方面的性能提高。特别是，我们的方法可以应付更多的离群值和更高的排名比其他国家的最先进的方法的基础矩阵。
2013-01-17 stat.ML
Estimation of high-dimensional low-rank matrices
假设我们观察到被噪声破坏的未知$m\times T$ -矩阵$A$的元素，或者更一般地，观察到元素的线性组合。我们特别感兴趣的是在高维设置中，未知条目的数量$mT$可以远远大于样本大小$N$。受几个应用的启发，我们考虑估计矩阵$A$的假设下，它有小的秩。这可以被视为降维或稀疏性假设。为了缩小到一个低秩表示，我们研究了惩罚最小二乘估计与Schatten-$p$准范数惩罚项，$p\leq1$。我们在两种可能的假设下研究了这些估计--“主要结果被陈述为预测风险和估计量的Schatten-$q$风险的非渐近上界，其中$q\in[p,2]$。我们获得的预测风险率的形式为$rm/N$（对于$m=T$），直至对数因子，其中$r$是$A$的秩。给出了多任务学习和矩阵完成的具体例子。证据是基于从经验过程理论的工具。作为一个副产品，我们得到的准凸Schatten类嵌入$S_p^M\hookrightarrow S_2^M$，$p<1$，这是独立的兴趣的$k$ th熵数的界限。
2011-05-13 math.ST stat.TH
The Exact Solution to Rank-1 L1-norm TUCKER2 Decomposition
Rochester Institute of Technology（罗切斯特理工学院）；University of California Riverside（加州大学河滨分校）
我们研究秩1 {L1-norm为基础的TUCKER 2}（L1-TUCKER 2）分解的3路张量，作为一个集合的$N$ $D \times M$矩阵被联合分解。我们的贡献如下。i）证明了该问题等价于$N$对映二元变量的组合优化问题。ii）我们推导了文献中的前两个算法的精确解。第一个算法在$N$中具有成本指数，第二个算法在$N$中具有成本多项式（在温和的假设下）。我们的算法是伴随着正式的复杂性分析。iii）我们进行了数值研究，以比较精确的L1-TUCKER 2（建议）与标准HOSVD，HOOI，GLRAM，PCA，L1-PCA和TPCA-L1的性能。我们的研究表明，L1-TUCKER 2优于（在张量近似）所有上述同行时，处理的数据是离群损坏。
2017-10-31 cs.DS cs.LG stat.ML
Geometric Matrix Completion with Deep Conditional Random Fields
Vrije Universiteit Brussel（布鲁塞尔自由大学）；imec（比利时微电子研究中心）；Duke University（杜克大学）
在许多大数据应用中，特别是在推荐系统中，都会出现从有限的观察值集合中完成高维矩阵的问题。现有的矩阵补全模型通常遵循基于记忆或基于模型的方法，而几何矩阵补全模型结合了这两种方法的最佳效果。现有的基于深度学习的几何模型具有良好的性能，但是为了操作，它们需要一个固定的结构图来捕获用户和项目之间的关系。该图通常通过评估关于可用观测的预定义相似性度量或通过使用边信息来构建，例如，用户简档。相比之下，基于马尔可夫随机场的模型不需要固定的结构图，而是依靠手工制作的特征来进行预测。当没有边信息可用并且可用观测的数量变得非常低时，现有的解决方案被推到了极限。在本文中，我们提出了一个几何矩阵完成的方法，解决这些挑战。我们认为矩阵补全是条件随机场（CRF）中的结构化预测问题，其特征在于最大后验（MAP）推理，我们提出了一个通过解决MAP推理问题来预测缺失条目的深度模型。该模型同时学习矩阵元素之间的相似性，计算CRF势，并解决推理问题。它的训练是以端到端的方式进行的，有一种方法来监督条目相似性的学习。综合实验表明，该模型的优越性能相比，各种国家的最先进的模型在流行的基准数据集，并强调其优越的能力，以处理高度不完整的矩阵。
2019-09-27 cs.LG stat.ML
Noisy Matrix Completion under Sparse Factor Models
本文研究了一类一般的噪声矩阵完成任务，其目标是从其条目的子集获得的观测估计矩阵，其中每个条目都受到随机噪声或腐败。我们的具体重点是设置的矩阵估计是很好的近似由两个（先验未知）矩阵，其中之一是稀疏的产品。这样的结构模型-这里称为“稀疏因子模型”-已经被广泛使用，例如，在子空间聚类应用中，以及在当代稀疏建模和字典学习任务中。我们的主要理论贡献是估计误差界稀疏正则化极大似然估计的问题，这种形式，这是适用于一些不同的观测噪声或腐败模型。研究了几个具体的含义，包括观测被加性高斯噪声或加性加尾（拉普拉斯）噪声破坏的情况，泊松分布观测，以及高度量化（例如，一位）观察。我们还提出了一个简单的算法方法的基础上交替方向的乘法器为这些任务，并提供实验证据来支持我们的错误分析。
2014-11-02 cs.IT math.IT stat.AP
Leveraged Matrix Completion with Noise
Nanjing University of Science and Technology（南京理工大学）；Wuhan University（武汉大学）；University of Sydney（悉尼大学）
本文提出利用杠杆分数刻画元素重要性并设计非均匀采样过程，在放宽非相干性和均匀观测假设的条件下，仅需约 $\mathcal{O}(nr\log^2 n)$ 个含噪条目即可可证明地恢复低秩矩阵。
2023-08-14 cs.LG stat.ML
First-Order Perturbation Analysis of the SECSI Framework for the Approximate CP Decomposition of 3-D Noise-Corrupted Low-Rank Tensors
基于SIMultaneous matrix diagonalization（SECSI）的近似典型多矢（CP）分解的半代数框架是计算CP分解的有效工具。SECSI框架将CP分解转化为一组联合特征值分解（JEVD）问题。解决所有的JEVD，我们得到多个估计的因素矩阵和最佳的估计是选择在随后的步骤中，通过使用一个穷举搜索或一些启发式的策略，降低了计算复杂性。此外，SECSI框架保留了选择要解决的JEVD数量的选项，从而提供了可调整的复杂性-准确性权衡。在这项工作中，我们提供了对SECSI框架的分析性能分析，用于计算受噪声污染的低秩张量的近似CP分解，其中我们推导出每个估计因子矩阵的相对均方误差的封闭形式表达式。这些表达式是使用一阶扰动分析和制定的噪声的二阶矩，这样，除了零均值，没有假设的噪声统计是必需的。仿真结果表明，得到的封闭形式的表达式和经验结果之间的良好匹配。此外，我们提出了一个新的性能分析为基础的选择（PAS）计划选择最终的因素矩阵估计。结果表明，所提出的PAS方案优于现有的算法，特别是在高信噪比的制度。
2017-10-18 cs.IT math.IT
Greedy Approach for Low-Rank Matrix Recovery
我们描述了简单的贪婪矩阵完成算法提供了一个有效的方法，从不完整的损坏的条目恢复低秩矩阵。我们提供的数值证据表明，即使在最简单的实现，贪婪的方法可能会增加现有算法的恢复能力显着。
2013-04-15 cs.IT cs.NA math.IT
Scalable Robust Matrix Recovery: Frank-Wolfe Meets Proximal Methods
Department of Industrial Engineering and Operations Research, Columbia University（哥伦比亚大学工业工程与运筹学系）；Department of Electrical Engineering, Columbia University（哥伦比亚大学电气工程系）
本文提出了一种可扩展且高效的鲁棒矩阵恢复方法，结合Frank-Wolfe和近端方法，以线性复杂度解决压缩主成分追寻问题，通过秩一SVD更新低秩部分并处理稀疏项，验证了方法在视觉数据中的可扩展性。
2017-05-29 cs.CV cs.NA math.NA
Robust Recovery via Implicit Bias of Discrepant Learning Rates for Double Over-parameterization
University of California, Berkeley（加州大学伯克利分校）；University of Denver（丹佛大学）；New York University（纽约大学）
最近的进展表明，过参数化模型上的梯度下降的隐式偏差使得即使在没有关于内在秩的先验知识的情况下，也能够从线性测量恢复低秩矩阵。相比之下，对于从严重损坏的测量中恢复的鲁棒低秩矩阵，过度参数化导致过度拟合，而无需关于损坏的固有秩和稀疏性的先验知识。本文表明，与双过参数化的低秩矩阵和稀疏腐败，梯度下降与差异学习率可证明恢复的基础矩阵，即使没有先验知识的秩矩阵也稀疏腐败。我们进一步扩展了我们的方法，通过使用深度卷积网络对图像进行过度参数化来实现自然图像的鲁棒恢复。实验表明，我们的方法处理不同的测试图像和不同的腐败程度与一个单一的学习管道，网络宽度和终止条件不需要根据具体情况进行调整。成功的基础再次是隐含的偏见，不同的过度参数化的参数上的差异学习率，这可能会影响更广泛的应用。
2020-06-16 cs.CV cs.LG math.OC
Unlabeled Principal Component Analysis and Matrix Completion
EPFL（洛桑联邦理工学院）
该研究提出列元素被置换破坏场景下的无标记主成分分析（UPCA），证明其为良定义代数问题，设计两阶段高效算法，并拓展至无标记矩阵补全，实验验证其在多领域应用潜力。
2023-10-09 cs.LG stat.ML
Robust Low-rank Matrix Completion via an Alternating Manifold Proximal Gradient Continuation Method
University of California, Davis（加州大学戴维斯分校）
鲁棒低秩矩阵完备（RMC），或部分观测数据的鲁棒主成分分析，在计算机视觉、信号处理和机器学习应用中得到了广泛的研究。该问题的目的是将部分观测矩阵分解为低秩矩阵和稀疏矩阵的叠加，其中稀疏矩阵捕获矩阵的严重损坏的条目。一种广泛使用的解决RMC的方法是考虑凸公式，它最小化低秩矩阵的核范数（以促进低秩）和稀疏矩阵的l1范数（以促进稀疏性）。本文在低秩矩阵完备化和黎曼优化的基础上，将该问题转化为Grassmann流形上的非光滑黎曼优化问题。这种新的公式是可扩展的，因为低秩矩阵被分解为两个小得多的矩阵的乘法。然后，我们提出了一个交替流形近端梯度延拓（AManPGC）方法来解决所提出的新配方。该算法的收敛速度进行了严格的分析。对监控视频背景提取的合成数据和真实数据的数值结果表明，所提出的新公式和算法优于现有的几种流行方法。
2020-08-18 cs.LG math.OC stat.ML
Approximately low-rank recovery from noisy and local measurements by convex program
从经典的系统辨识到信号处理和统计学中的更现代的矩阵补全，低秩矩阵模型已经普遍地用于许多应用。由于核范数可以导出反问题的低秩解，因此它被用作低秩的凸替代。虽然用于低秩的核范数与通过奇异值分解用于稀疏性的$\ell_1$范数具有很好的相似性，但其他矩阵范数也会导致低秩。特别是作为一个解释矩阵作为一个线性算子之间的巴拿赫空间，各种张量积规范推广的作用，核规范。我们提供了一个张量范数约束估计恢复近似低秩矩阵从本地测量损坏的噪声。张量范数正则化器的设计，以适应当地的结构。通过对巴拿赫空间的张量积应用Maurey的经验方法，得到了矩阵完备化和分散作图下估计量的统计分析.估计器提供了一个接近最优的误差界在极大极小意义上，并承认这些应用程序的多项式时间算法。
2023-03-03 math.FA math.ST stat.TH
DeepTensor: Low-Rank Tensor Decomposition with Deep Network Priors
Rice University（莱斯大学）
DeepTensor是一个计算效率高的框架，用于使用深度生成网络对矩阵和张量进行低秩分解。我们将张量分解为低秩张量因子的乘积（例如，作为两个向量的外积的矩阵），其中每个低秩张量由以自监督方式训练的深度网络（DN）生成，以最小化均方近似误差。我们的关键观察是，DN中固有的隐式正则化使它们能够捕获非线性信号结构（例如，流形），这是经典的线性方法，如奇异值分解（SVD）和主成分分析（PCA）无法达到的。此外，与SVD和PCA相比，当张量的条目偏离加性高斯白噪声时，其性能会恶化，我们证明了DeepTensor的性能对广泛的分布具有鲁棒性。我们通过探索一系列现实世界的应用，包括高光谱图像去噪，3D MRI断层扫描和图像分类，验证了DeepTensor是SVD，PCA，非负矩阵分解（NMF）和类似分解的强大且计算效率高的替代品。特别是，DeepTensor为泊松噪声破坏的信号提供了比标准去噪方法高出6dB的信噪比，并且学习分解3D张量的速度比配备3D卷积的单个DN快60倍。
2022-04-07 cs.LG stat.AP stat.ML
Estimation of Toeplitz Covariance Matrices in Large Dimensional Regime with Application to Source Detection
本文给出了高维Toeplitz协方差矩阵的两个经典样本估计的谱模的集中不等式，特别证明了它们的渐近几乎必然相合性。然后将一致性扩展到时间样本的聚合矩阵被秩1（或更一般地，低秩）矩阵破坏的情况。作为后者的应用，在时间相关的噪声环境中的大尺寸传感器网络的背景下的源检测问题进行了研究。与标准程序相反，该应用程序是在线执行的，即不需要拥有纯噪声样本的学习集。
2014-03-05 cs.IT math.IT
Denoising and Completion of Structured Low-Rank Matrices via Iteratively Reweighted Least Squares
我们提出了一种新的迭代重加权最小二乘（IRLS）算法的问题，完成或去噪低秩矩阵的结构，例如，其具有汉克尔、托普利茨或块-汉克尔/托普利茨结构。该算法通过求解一系列二次问题，基于秩的非凸代理来优化目标。我们的策略结合了计算效率，因为它在结构化矩阵的低维生成器空间上操作，具有高统计精度，这可以在硬估计和完成任务的实验中观察到。我们的实验表明，所提出的算法StrucHMIRLS表现出经验恢复概率接近1，从更少的样本比国家的最先进的汉克尔矩阵完成任务所产生的频谱超分辨率的问题严重分离的频率。此外，我们解释了所提出的算法结构化的低秩恢复可以被用来作为预处理步骤，提高鲁棒性的频率或线性频谱估计问题。
2018-11-19 cs.IT math.IT math.OC
Optimal structured approximation of Fourier subspaces, Toeplitz matrices, and exponential sums
University of California, Davis（加州大学戴维斯分校）；City University of New York, City College and Graduate Center（纽约市立大学城市学院及研究生院）
研究傅里叶矩阵范围恢复、低秩托普利兹/汉克尔矩阵恢复及有限指数和恢复三个问题，核心方法是应用梯度 - MUSIC算法，贡献是给出在多方面极小极大最优的算法及定量转移原理。
2026-07-15 cs.IT math.IT
An auto-parameter denoising method for nuclear magnetic resonance spectroscopy based on low-rank Hankel matrix
核磁共振（NMR）谱被建模为阻尼指数信号的和，在各种情况下，如结构和功能测定、化学分析和疾病诊断，它已成为不可或缺的工具。然而，NMR光谱信号，在实践中，通常被高斯噪声破坏，提高了顺序分析和量化的信号的困难。低秩Hankel性质在去噪问题中起着重要的作用，但选择合适的参数仍然是一个问题。在这项工作中，我们探讨了正则化参数的效果的凸优化去噪方法的基础上，低秩汉克尔矩阵的指数信号被高斯噪声破坏。给出了加权Hankel矩阵谱范数的精确估计，作为正则化参数设置的指导。可以有效地计算界限，因为它只取决于噪声的标准偏差和一个常数。借助于该界，可以很容易地获得自动设置的正则化参数，以产生有希望的去噪结果。我们的合成和现实的NMR光谱数据的实验表明，我们提出的方法相比，典型的Cadzow和国家的最先进的QR分解方法，特别是在低信噪比制度优越的去噪性能。
2020-11-14 cs.IT math.IT math.SP
Recovery of Low-Rank Matrices under Affine Constraints via a Smoothed Rank Function
研究了仿射约束下矩阵秩最小化问题。国家的最先进的算法可以恢复矩阵的秩远远小于什么是足够的唯一性的解决方案，这个优化问题。我们提出了一个算法的基础上的秩函数，这实际上提高了恢复限制的解决方案的秩的平滑近似。这种近似导致非凸规划;因此，为了避免陷入局部解，我们使用以下方案。最初，优化服从仿射约束的秩函数的粗略近似。随着算法的进行，优化秩的更精细的近似，并且用先前近似的解初始化求解器，直到达到期望的精度。在理论方面，利用球截面的性质，我们将证明逼近函数的解序列收敛到最小秩解。在实验方面，它将表明，该算法，称为SRF代表平滑秩函数，可以恢复矩阵的秩最小化问题的唯一解决方案，但不能恢复核范数最小化。此外，它将被证明，在完成部分观测矩阵，SRF的准确性是相当大的，一贯优于一些著名的算法时，显示的条目的数量接近的最小数量的参数，唯一地代表一个低秩矩阵。
2013-12-26 cs.IT math.IT
Matrix Completion With Noise
紧接着压缩传感，最近出现了一个引人注目的新领域。这一领域解决了一系列具有重大实际意义的问题，即从似乎不完整甚至可能损坏的信息中恢复数据矩阵。在其最简单的形式中，问题是从其条目的小样本中恢复矩阵，并且出现在许多科学和工程领域，包括协同过滤，机器学习，控制，遥感和计算机视觉等。本文综述了矩阵完备化的新文献，指出在适当的条件下，可以通过求解一个简单的凸优化问题，即数据约束下的核范数极小化问题，从一个近似极小的元素集合中恢复出一个未知的低秩矩阵.此外，本文介绍了新的结果表明，矩阵完成是可证明准确的，即使当观察到的几个条目被破坏了少量的噪声。一个典型的结果是，可以从大约nr log^2 n噪声样本中恢复低秩r的未知n × n矩阵，误差与噪声水平成比例。我们提出的数值结果，补充我们的定量分析，并表明，在实践中，核范数最小化准确地填补了许多缺失的条目，大型低秩矩阵，从几个嘈杂的样本。矩阵补全和压缩感知之间的一些类比在整个讨论。
2009-03-18 cs.IT math.IT
An LS-Decomposition Approach for Robust Data Recovery in Wireless Sensor Networks
无线传感器网络广泛应用于军事、民用和商业领域，其传感数据呈指数级爆炸式增长。然而，部署有效感测系统的主要挑战是存在{ \em大量缺失条目、测量噪声和异常读数}。现有的工作假设传感器数据矩阵具有低秩结构。由于异常读数，这在现实中并不成立，导致严重的性能下降。在本文中，我们介绍了一个{ \em LS分解}方法的强大的传感器数据恢复，它分解为一个低秩矩阵和稀疏异常矩阵的叠加损坏的数据矩阵。首先，我们证明LS-分解解一个凸规划有界逼近误差。其次，使用来自IntelLab，GreenOrbs和NBDC-CTD项目的数据集，我们发现传感器数据矩阵包含异常读数。第三，我们提出了一种加速的邻近梯度算法，并证明了它以$O(1/k^2)$（$k$是迭代次数）的收敛速度逼近最优解。在真实数据集上的评估表明，我们的方案实现了采样率$\geq 50\%$的恢复误差$\leq 5\%$和采样率$\geq 60\%$的几乎精确的恢复，而最先进的方法在采样率$90\%$有误差$10\% \sim 15\%$。
2015-09-12 cs.IT cs.NI math.IT
An analysis of noise folding for low-rank matrix recovery
先前关于低秩矩阵恢复的工作集中在矩阵无噪声且测量被噪声破坏的情况下。然而，在实际应用中，矩阵本身通常会受到随机噪声的干扰。本文简要地研究了这种情况下，并证明，对于大多数测量方案中使用的压缩感知，这两个模型是等效的，与（\ref{eq.3}）相关的噪声是由一个因子大到$mn/M$，其中$m,~n$是矩阵的维数和$M$是测量的数量的中心区别。此外，本文还讨论了低秩矩阵的重构问题，基于关联零空间的性质，给出了保证鲁棒恢复的充分条件，并得到了观测值的个数。在此基础上，对非高斯噪声情况下的非高斯噪声进行了进一步的研究，并给出了相应的结果。仿真实验一方面显示了噪声方差对恢复性能的影响，另一方面验证了所提模型的可验证性。
2020-03-06 cs.IT math.IT math.OC
Accelerated Structured Alternating Projections for Robust Spectrally Sparse Signal Recovery
University of California, Los Angeles（加州大学洛杉矶分校）；Hong Kong University of Science and Technology（香港科技大学）；Southwestern University of Finance and Economics（西南财经大学）；Shenzhen University（深圳大学）
考虑由具有或不具有阻尼的$r$复正弦曲线组成的频谱稀疏信号$\boldsymbol{x}$。研究了在完全观测条件下谱稀疏信号的鲁棒恢复问题，即从$\boldsymbol{x}$和稀疏腐败向量$\boldsymbol{s}$的和$\boldsymbol{z}=\boldsymbol{x}+\boldsymbol{s}$中恢复$\boldsymbol{x}$和稀疏腐败向量$\boldsymbol{s}$。本文利用$\boldsymbol{x}$构造的Hankel矩阵的低秩性质，将该问题转化为一个低秩Hankel矩阵的鲁棒恢复问题.我们开发了一个高效的非凸算法，创造加速结构交替投影（ASAP）。ASAP的高计算效率和低空间复杂度是通过结构矩阵的快速计算和加速低秩近似的子空间投影方法来实现的。在对$\boldsymbol{x}$和$\boldsymbol{s}$的一些温和的假设下，建立了ASAP的线性收敛速度的理论恢复保证。合成和真实世界的数据的经验性能比较证实了ASAP的优势，在计算效率和鲁棒性方面。
2021-01-16 cs.IT cs.LG eess.SP
On the detection of low-rank signal in the presence of spatially uncorrelated noise: a frequency domain approach
本文分析了M维有用信号的检测，该信号被建模为M × K MIMO滤波器的输出，该滤波器由K维高斯白噪声驱动，并被M维高斯噪声破坏，该噪声具有互不相关的分量。该研究的重点是频域测试统计的基础上的谱相干矩阵（SCM）的估计的特征值，作为观测信号的频率平滑周期图的重正化。如果N表示样本大小，B表示平滑跨度，则证明了在M，B，N收敛到无穷大而K保持固定的高维区域中，SCM表现为某种相关Wishart矩阵。利用这些矩阵的特征值的行为上的众所周知的结果，可以推断，基于线性谱统计的SCM的标准测试未能检测到存在的有用的信号在高维政权。一个新的测试的基础上的SCM，这被证明是一致的，也提出了，并通过数值模拟评估其统计性能。
2021-06-24 cs.IT math.IT math.PR
Low-complexity Multiclass Encryption by Compressed Sensing
压缩感知可以用于加密来自未经授权的接收器的信息的想法已经被设想过，但从未深入探讨过，因为其安全性可能会受到其编码过程的线性度的影响。在本文中，我们应用这个简单的编码来定义一个通用的私钥加密方案，其中发射机分配相同的编码测量到不同类别的接收器，提供部分损坏的编码矩阵，从而允许解码所获得的信号在可证明的不同水平的恢复质量。该方案的安全性能进行了深入分析：首先，我们的多类加密的属性从理论上研究，推导性能界的恢复质量达到较低的类接收器相对于高类的。然后，我们对测量结果进行了统计分析，结果表明，尽管压缩感知并不完全安全，但它可以以几乎为零的成本提供一定程度的安全性，从而使资源有限的应用程序受益。除此之外，我们报告了一些示例性的应用程序的多类加密的语音信号，心电图的轨道和图像，其中质量退化被量化为不可能的一些特征提取算法，以获得敏感信息从适当退化的信号恢复压缩传感。
2015-02-17 cs.IT math.IT
