Efficient Online Minimization for Low-Rank Subspace Clustering
低秩表示（LRR）是一种有效的分割子空间并数据的方法。然而，已知求解LRR程序在时间复杂度和存储器占用方面具有挑战性，因为核范数正则化矩阵的大小是$n$乘$n$（其中$n$是样本的数量）。在本文中，我们从而开发了一个快速的在线实现LRR，减少了从$O(n^2)$到$O(pd)$的内存成本，$p$是周围的尺寸和$d$是一些估计秩~（$d < p \ll n$）。为此目的的关键是LRR程序的非凸重构，其追求生成（未损坏的）观察的基字典。我们建立了理论保证，我们的算法产生的解决方案的序列收敛到一个稳定点的经验和期望损失函数渐近。在人工数据集和真实数据集上的大量实验进一步证实了该算法的快速性、鲁棒性和内存效率。
2017-10-23 stat.ML
Convergence and Recovery Guarantees of the K-Subspaces Method for Subspace Clustering
K-subspaces（KSS）方法是子空间聚类的K-means方法的推广。在这项工作中，我们提出了局部收敛分析和恢复保证KSS，假设数据产生的半随机联盟的子空间模型，其中$N$点随机采样从$K \ge 2$重叠的子空间。我们表明，如果KSS方法的初始分配位于一个真正的聚类邻域内，它以超线性速度收敛，并以高概率在$Θ(\log\log N)$迭代内找到正确的聚类。此外，我们提出了一个阈值内积为基础的谱方法的初始化，并证明它产生一个点在这个邻域。我们还提出了所研究的方法，以支持我们的理论发展的数值结果。
2022-06-19 math.OC stat.ML
Regularization of $\ell_1$ minimization for dealing with outliers and noise in Statistics and Signal Recovery
本文研究了在给定设计矩阵和污染仅限于因变量的经典线性回归问题中，$\ell_1$范数最小化的鲁棒性。我们进行了精细的误差分析的$\ell_1$估计的测量误差与噪声相结合的离群值。我们介绍了一种新的估计技术，从正规化的$\ell_1$最小化的下卷积与$\ell_2$规范。考虑到对大离群值的鲁棒性，所提出的估计保持了$\ell_1$估计的崩溃点，并在没有离群值时简化为最小二乘。我们提出了一个全局收敛的向前向后算法计算我们的估计和一些数值实验证实其理论性质。
2014-02-25 math.OC stat.ML
Multi-Subspace Matrix Recovery from Permuted Data
School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）
针对列受置换破坏的多子空间矩阵恢复问题，提出四阶段算法流程，含理论保证，在多个基准上优于现有方法。
2024-12-17 cs.LG stat.ML
Signal Recovery on Graphs: Variation Minimization
Carnegie Mellon University（卡内基梅隆大学）；HP Vertica（惠普Vertica）
我们把图上的信号恢复问题看作是把具有复杂结构的数据模型看作是图上的信号。图形信号恢复意味着从噪声、损坏或不完整的测量中恢复一个或多个平滑图形信号。我们提出了一个图形信号模型和制定信号恢复作为相应的优化问题。我们利用乘子交替方向法给出了一个一般解。接下来，我们将展示信号修复，矩阵补全，鲁棒主成分分析和异常检测如何与图形信号恢复相关，并提供相应的具体解决方案和理论分析。最后，我们验证了所提出的方法在现实世界中的恢复问题，包括在线博客分类，桥梁状态识别，温度估计，推荐系统，和专家意见的在线博客分类组合。
2015-05-29 cs.LG cs.SI stat.ML
Necessary and Sufficient Null Space Condition for Nuclear Norm Minimization in Low-Rank Matrix Recovery
University of Iowa（爱荷华大学）
低秩矩阵恢复在机器学习、信号处理、协同滤波、系统辨识和欧几里得嵌入等科学和工程领域有着广泛的应用。但低秩矩阵恢复问题是一个NP难问题，因此具有挑战性。一种常用的启发式方法是核范数最小化。在文献[12，14，15]中，作者建立了核范数极小化的充要零空间条件（强零空间条件），以恢复所有可能的秩不超过r的低秩矩阵。此外，在[12]中，Oymak等人利用核范数最小化建立了一个成功恢复给定低秩矩阵的零空间条件（弱零空间条件），并导出了核范数最小化的相变。本文证明了文[12]中的弱零空间条件只是利用核范数极小化成功恢复矩阵的一个充分条件，而不是文[12]中所声称的必要条件。本文进一步给出了低秩矩阵恢复的一个弱零空间条件，它是核范数极小化成功的充要条件。在我们的推导的核心是一个不等式的特征块矩阵的核范数，并在该不等式的等式成立的条件。
2018-02-14 cs.IT cs.LG eess.SP
On the exact minimization of saturated loss functions for robust regression and subspace estimation
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学及其应用研究实验室）
本文讨论了稳健回归和子空间估计，更精确地说，讨论了最小化饱和损失函数的问题。特别是，我们专注于计算复杂性的问题，并表明，一个确切的算法与多项式时间复杂度相对于数据的数量可以设计强大的回归和子空间估计。这个结果是通过采用分类的观点，并与搜索的线性模型，可以近似的最大数量的点与给定的错误的问题。基于随机采样的算法的近似变量也进行了讨论，实验表明，它提供了一个类似的算法简单的精度增益比传统的RANSAC。
2018-08-24 cs.LG stat.ML
Global Convergence of Iteratively Reweighted Least Squares for Robust Subspace Recovery
本文首次为鲁棒子空间恢复中的IRLS提供了全局收敛性保证，并扩展到仿射子空间估计，展示了其在低维神经网络训练中的实际应用价值。
2026-11-03 cs.LG math.OC stat.ML
Robust Group Subspace Recovery: A New Approach for Multi-Modality Data Fusion
UT-Battelle, LLC（UT-巴特勒有限责任公司）；US Department of Energy（美国能源部）
鲁棒子空间恢复（RoSuRe）算法最近被引入作为一种原理性和数值有效的算法，其展开存在于数据中的底层子空间并集（UoS）结构。子空间的联合（UoS）能够识别数据集中比简单线性模型更复杂的趋势。我们建立和扩展RoSuRe展望不同的数据模式的结构。我们提出了一种新的多模态数据融合方法，我们称之为鲁棒组子空间恢复（RoGSuRe）的基础上组稀疏。依靠双稀疏追求范式和非光滑优化技术，引入的框架学习一个新的联合表示的时间序列从不同的数据形态，尊重一个底层的UoS模型。随后，我们整合得到的结构，形成一个统一的子空间结构。所提出的方法利用不同模态数据之间的结构依赖性来聚类相关联的目标对象。对未标记传感器的音频和磁数据的实验结果表明，我们的方法与其他最先进的子空间聚类方法具有竞争力。由此产生的UoS结构被用来对新观察到的数据点进行分类，突出了所提出的方法的抽象能力。
2020-06-18 cs.LG stat.ML
Basis Pursuit and Orthogonal Matching Pursuit for Subspace-preserving Recovery: Theoretical Analysis
Lehigh University（利哈伊大学）；The Johns Hopkins University（约翰斯·霍普金斯大学）
给定一个过完备字典$A$和一个信号$b = Ac^*$，其中某个稀疏向量$c^*$的非零元素对应于$A$的线性无关列，经典稀疏信号恢复理论考虑$c^*$是否可以恢复为$b = A c$的唯一稀疏解的问题.现在很好地理解，当字典$A$是不相干的或受限制的等距的时，这种恢复通过实用算法是可能的。在本文中，我们考虑更一般的情况下，$b$位于一个子空间$\mathcal{S}_0$由一个子集的线性相关列的$A$，其余列的子空间之外。在这种情况下，稀疏表示可能不是唯一的，并且字典可能不是不连贯的或受限制的等距的。目标是使表示$c$正确地标识子空间，即，$c$的非零条目应当对应于子空间$\mathcal{S}_0$中的$A$的列。这种表示$c$被称为子空间保持，这是一个关键概念，在高维数据中学习低维结构时有重要应用。我们提出了各种几何条件，保证子空间保持恢复。其中，覆盖半径和角距离分别刻画了子空间中点的分布以及子空间中点与子空间外点的相似性.重要的是，这些条件并不要求字典是不连贯的或受限制的等距。通过建立子空间保持恢复问题和经典的稀疏信号恢复问题在后者的共同假设下是等价的，我们证明了我们提出的几个条件是稀疏信号恢复文献中一些众所周知的条件的推广。
2019-12-30 cs.CV cs.LG stat.ML
Signal Recovery in Unions of Subspaces with Applications to Compressive Imaging
在从通信到遗传学的应用中，信号可以被建模为位于子空间的并集中。在该模型下，位于某些子空间中的信号系数一起是活动的或不活动的。潜在的子空间是预先已知的，但是活动的子空间的特定集合（即，在信号支持中）必须从测量中学习。我们表明，利用知识的子空间可以进一步减少精确的信号恢复所需的测量数量，并推导出所需的测量数量的普遍界限。这个界是普适的，因为它只取决于所考虑的子空间的数量，以及它们之间的相对方向。子空间的细节（例如，组成、尺寸、范围、重叠等）并不影响我们获得的结果。在这个过程中，我们推导出样本复杂性界限的特殊情况下的组套索重叠组（潜在组套索），这是在各种应用程序中使用。最后，我们还表明，图像的小波变换系数可以建模为躺在组，因此可以有效地恢复使用组套索方法。
2012-09-14 math.OC stat.ML
Robust Subspace Recovery Layer for Unsupervised Anomaly Detection
University of Minnesota（明尼苏达大学）
我们提出了一个神经网络的无监督异常检测与一个新的强大的子空间恢复层（RSR层）。该层试图从给定数据的潜在表示中提取底层子空间，并删除远离该子空间的离群值。它在自动编码器中使用。编码器将数据映射到潜在空间中，RSR层从潜在空间中提取子空间。解码器然后平滑地将底层子空间映射回接近原始内点的“流形”。根据原始位置和映射位置之间的距离区分内点和离群点（内点小，离群点大）。使用图像和文档数据集进行的大量数值实验证明了最先进的精确度和召回率。
2019-12-24 cs.CV cs.LG stat.ML
New Null Space Results and Recovery Thresholds for Matrix Rank Minimization
核范数最小化（NNM）最近获得了显着的关注，其用于秩最小化问题。类似于压缩感知，使用零空间表征，在\cite{arxiv,Recht_Xu_Hassibi}中研究了NNM的恢复阈值。然而，仿真结果表明，阈值是远离最佳的，特别是在低秩区域。在本文中，我们应用最近的分析Stojnic压缩感知\cite{mihailo}的零空间条件的NNM。由此产生的阈值明显更好，特别是我们的弱阈值似乎与模拟结果相匹配。此外，我们的曲线表明，对于任何秩与矩阵大小$n$线性增长，我们只需要三倍的过采样（模型复杂度）弱恢复。与\cite{arxiv}类似，我们分析了弱阈值、分段阈值和强阈值的条件。另外，对正半定矩阵的特殊情况，也作了单独的分析。最后，我们讨论了模拟结果和未来的研究方向。
2010-11-29 cs.IT math.IT math.OC
Robust Subspace Recovery with Adversarial Outliers
研究了存在对抗性离群点时的鲁棒子空间恢复问题。也就是说，我们寻找一个包含大部分数据集的子空间，当一些数据点被任意损坏时。我们首先研究了一个理论估计，是难以计算和使用它来获得信息理论界的确切恢复。然后，我们提出了两个易于处理的估计：RANSAC的一个变种和一个简单的放松的理论估计。这两个估计是快速计算和实现最先进的理论性能在一个无噪声RSR设置对抗离群值。前者估计量在无噪声情况下实现了更好的理论保证，而后者估计量对小噪声具有鲁棒性，并且其保证显著改善了离群值的非对抗性模型。我们给出了对抗RSR问题的保证的完整比较，以及对仿射子空间估计的简短讨论。
2019-04-05 cs.LG math.OC stat.ML
Subspace Recovery in Winsorized PCA: Insights into Accuracy and Robustness
Seoul National University（首尔大学）
本文研究Winsorized主成分分析（WPCA）在子空间恢复中的理论性质，证明其一致性并推导扰动界限与崩溃点下界，表明其对异常值具有强鲁棒性，并通过示例验证其有效性。
2025-02-23 cs.LG stat.AP stat.ME
Latent Complete Row Space Recovery for Multi-view Subspace Clustering
National University of Defense Technology（国防科技大学）；Shanxi University（山西大学）
多视点子空间聚类在图像处理、视频监控等领域得到了广泛的应用，并引起了越来越多的关注。大多数现有的方法学习特定于视图的自表示矩阵，并从多个视图中构造一个组合的亲和矩阵。亲和度构造过程耗时长，并且不能保证组合亲和度矩阵反映整个真实子空间结构。为了克服这些问题，潜在的完全行空间恢复（LCRSR）方法被提出。具体地说，LCRSR是基于这样的假设，即多视图观测是从底层的潜在表示生成的，该潜在表示进一步假设收集从多个子空间精确提取的真实样本。LCRSR能够恢复潜在表示的行空间，它不仅携带来自多个视图的完整信息，而且在一定条件下确定子空间成员。LCRSR不涉及图的构造过程，并且使用高效且收敛的算法来求解，从而更具有可扩展性以适应大规模数据集。通过对不同类型的多视点数据进行聚类，验证了LCRSR的有效性和效率，并在背景减除任务中得到了说明。
2019-12-16 cs.LG stat.ML
Homomorphic Sensing of Subspace Arrangements
ShanghaiTech University（上海科技大学）
同态感知是一个新的代数几何框架，研究在给定的线性映射集合下，线性子空间中的点从它们的图像中的唯一恢复。在由坐标投影组成的排列的情况下，它已经成功地解释了这种恢复，这是被称为未标记传感的应用程序中的一个重要实例，该应用程序对无序且具有缺失值的数据进行建模。在本文中，我们提供了更严格和更简单的条件，保证了唯一的恢复为单一的子空间的情况下，推广的结果的情况下，子空间安排，并表明，在一个单一的子空间的唯一恢复是局部稳定的噪声。我们专门研究我们的结果，同态传感的几个例子，如实时相位检索和无标签传感。在这样做的过程中，以统一的方式，我们获得的条件，保证这些例子的唯一恢复，通常已知通过不同的技术在文献中，以及新的条件稀疏和无符号版本的未标记的传感。类似地，我们的噪声结果也意味着在未标记感知中的唯一恢复是局部稳定的。
2022-09-19 cs.LG math.AG stat.ML
A Well-Tempered Landscape for Non-convex Robust Subspace Recovery
Massachusetts Institute of Technology（麻省理工学院）；University of Central Florida（中佛罗里达大学）；University of Minnesota（明尼苏达大学）
我们提出了一个数学分析的非凸能量景观的鲁棒子空间恢复。我们证明了一个潜在的子空间是唯一的稳定点和局部极小在指定的邻域在一个确定性的条件下的数据集。如果满足确定性条件，我们进一步证明了Grassmannian流形上的测地线梯度下降方法在适当的初始化条件下，可以精确地恢复底层子空间.通过一个简单的确定性条件，保证了主成分分析的正确初始化。在稍强的假设下，采用分段常数步长格式的梯度下降方法实现了线性收敛。确定性条件的实用性证明了一些统计模型的数据，该方法实现了几乎国家的最先进的恢复保证Haystack模型的不同制度的样本大小和环境尺寸。特别是，当周围的尺寸是固定的，样本量是足够大的，我们表明，我们的梯度方法可以准确地恢复任何固定分数的离群值（小于1）的基础子空间。
2019-02-28 cs.LG math.OC stat.ML
DeepCodec: Adaptive Sensing and Recovery via Deep Convolutional Neural Networks
Rice University（莱斯大学）
在本文中，我们开发了一种新的计算感知框架，用于感知和恢复结构化信号。当对一组代表性信号进行训练时，我们的框架学习进行欠采样测量，并使用深度卷积神经网络从其中恢复信号。换句话说，它学习从原始信号到接近最佳数量的欠采样测量的变换以及从测量到信号的逆变换。这与使用随机线性测量和凸优化或迭代算法进行信号恢复的传统压缩感测（CS）系统形成对比。我们比较我们的新框架与$\ell_1$ -最小化从相变的角度来看，并证明它优于$\ell_1$ -最小化的相变图的区域中，$\ell_1$ -最小化不能恢复的精确解。此外，我们通过实验证明了学习测量如何提高整体恢复性能，加快恢复框架的训练，并导致需要学习的参数更少。
2017-07-11 cs.LG stat.ML
Randomized Robust Subspace Recovery for High Dimensional Data Matrices
University of Central Florida（中佛罗里达大学）
本文探讨和分析了两个随机设计的稳健主成分分析（PCA）采用低维数据素描。在一种设计中，数据草图是使用随机列采样，然后低维嵌入，而在另一种设计中，草图是基于随机列和行采样。这两种设计带来了大量节省的复杂性和内存需求的强大的子空间学习传统的方法，使用的全尺度数据。两种设计的样本和计算复杂性的表征是在两个不同的离群值模型，即稀疏和独立的离群值模型的背景下得出的。所提出的随机化方法可以证明恢复正确的子空间的计算和样本的复杂性，几乎是独立的数据的大小。数学分析的结果通过使用合成和真实数据的数值模拟得到证实。
2016-04-08 cs.CV stat.ML
Robust Subspace Learning: Robust PCA, Robust Subspace Tracking, and Robust Subspace Recovery
Iowa State University（爱荷华州立大学）；Université de La Rochelle（拉罗谢尔大学）；University of Warwick（华威大学）
PCA是最广泛使用的降维技术之一。一个相关的更简单的问题是“子空间学习”或“子空间估计”。给定相对干净的数据，两者都可以通过奇异值分解（SVD）轻松求解。存在离群值的子空间学习或PCA问题称为鲁棒子空间学习或鲁棒PCA（RPCA）。对于长数据序列，如果试图使用单个低维子空间来表示数据，则所需的子空间维度可能会非常大。对于这样的数据，一个更好的模型是假设它位于一个低维子空间，可以随着时间的推移而变化，尽管是逐渐变化的。跟踪这样的数据（和子空间），同时对离群值具有鲁棒性的问题被称为鲁棒子空间跟踪（Robust Subspace Tracking，简称SVM）。这篇文章提供了一个杂志式的概述整个领域的鲁棒子空间学习和跟踪。特别是三个问题的解决方案进行了详细讨论：通过稀疏+低秩矩阵分解（S+LR）的RPCA，通过S+LR，和“鲁棒子空间恢复（RSR）”的恢复。RSR假设整个数据向量要么是离群值，要么是内点。相反，S+LR公式假设离群值仅出现在少数数据向量索引上，因此被很好地建模为稀疏损坏。
2018-07-05 cs.CV cs.IT math.IT
Fast, Robust and Non-convex Subspace Recovery
University of Minnesota（明尼苏达大学）
本文提出了一种快速非凸鲁棒子空间恢复算法。所考虑的数据集包括围绕高维环境空间的低维子空间绘制的内点，以及可能不位于该子空间附近的大部分离群点。所提出的算法，我们称之为快速中值子空间（FMS），旨在鲁棒地确定这些数据集的底层子空间，同时具有较低的计算复杂性比现有的方法。我们证明了FMS迭代收敛到一个稳定点。此外，在一个特殊的数据模型，FMS收敛到一个点，这是接近全局最小的压倒性的概率。在此模型下，我们证明了迭代复杂性是全局有界的和局部$r$ -线性的。后一个定理适用于任何固定的离群值分数（小于1）和极限点与全局最小值之间的任何固定的正距离。模拟数据和真实数据的数值实验表明，该方法具有较好的计算速度和精度。
2016-06-09 cs.CV cs.LG stat.AP
Band Target Entropy Minimization and Target Partial Least Squares for Spectral Recovery and Calibration
在没有混合物先验知识的情况下，对混合物中少数组分纯光谱的分辨和校正是一个具有挑战性的问题。在这项工作中，带目标熵最小化（BTEM）和目标偏最小二乘法（T-PLS）的组合被用来获得估计的单一纯组分光谱，并校准这些估计在一个真正的，一次一个的方式。这种方法允许在光谱数据中存在其他不同组分的情况下，以次要组分为目标并估计其相对量。T-PLS估计的使用是对BTEM方法的改进，因为它克服了在估计之前识别所有纯组分的需要。从这个组合的估计量被发现是类似于从标准方法，多元曲线分辨率交替最小二乘法（MCR-ALS），在一个简单的，三组分混合物数据集。两个实验数据集的研究表明，BTEM和T-PLS的组合可以模拟纯组分的光谱，并获得次要组分的浓度分布，但MCR-ALS不能。
2018-03-27 stat.AP stat.ML
Smoothed Low Rank and Sparse Matrix Recovery by Iteratively Reweighted Least Squares Minimization
National University of Singapore（新加坡国立大学）；Peking University（北京大学）
这项工作提出了一个通用的框架，用于解决低秩和/或稀疏矩阵最小化问题，这可能涉及多个非光滑项。迭代加权最小二乘法（IRLS）是一种快速求解器，它通过交替更新变量及其权重来平滑目标函数并使其最小化。然而，传统的IRLS只能解决稀疏或低秩的平方损失或仿射约束的最小化问题。这项工作推广IRLS解决联合/混合低秩和稀疏最小化问题，这是许多任务的基本配方。作为一个具体的例子，我们用IRLS求解了$p$范数和$\ell_{2,q}$ -范数正则化的低秩表示（LRR）问题，并从理论上证明了所导出的解是一个稳定点（如果$p,q\geq1$是全局最优的）.我们的IRLS的收敛性证明比以前的证明更一般，它依赖于$p$范数和$\ell_{2,q}$ -范数的特殊性质.在合成数据集和真实数据集上的大量实验表明，我们的IRLS更有效。
2014-12-06 cs.CV cs.LG stat.ML
Subspace-Sparse Representation
给定过完备字典$A$和作为$A$的几个线性独立列的线性组合的信号$b$，经典稀疏恢复理论处理恢复唯一稀疏表示$x$使得$b = A x$的问题。已知在一定条件下，$A$上的$x$可以通过基追踪（BP）和正交匹配追踪（OMP）算法恢复。在这项工作中，我们考虑更一般的情况下，$b$在于一个低维子空间跨越的$A$，这可能是线性相关的一些列。在这种情况下，稀疏解$x$一般是不唯一的，我们研究的问题，表示$x$确定的子空间，即非零条目的$x$对应的字典原子的子空间。这样的表示$x$称为子空间稀疏。我们提出了保证子空间稀疏恢复的充分条件，这些条件具有清晰的几何解释，并解释了子空间稀疏恢复的性质。我们还证明了在随机化模型下，充分条件可以满足。我们的结果是适用于传统的稀疏恢复问题，我们得到的条件稀疏恢复的限制比规范的相互相干条件。我们还利用这些结果对基于稀疏表示的分类方法进行了分析，得到了证明其正确性的条件。
2015-07-06 cs.IT math.IT stat.ML
Nonlinear matrix recovery using optimization on the Grassmann manifold
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）；Umeå University（于默奥大学）
我们调查的问题，恢复部分观察到的高秩矩阵，其列服从非线性结构，如子空间的联合，代数簇或分组在集群。恢复问题被制定为应用于原始矩阵的非线性特征映射的秩最小化，然后进一步近似为涉及格拉斯曼流形的约束非凸优化问题。我们提出了两套算法，一个产生于黎曼优化和其他作为一个交替的最小化方案，这两个都包括一阶和二阶变量。这两套算法都有理论上的保证。特别地，对于交替最小化，我们建立了全局收敛性和最坏情况下的复杂性界。此外，使用Kurdyka-Lojasiewicz属性，我们证明了交替最小化收敛到一个唯一的极限点。我们提供了广泛的数值结果的恢复联盟的子空间和聚类下的入口采样和稠密高斯采样。我们的方法与现有的方法是有竞争力的，特别是，高精度的恢复使用黎曼二阶方法。
2022-12-08 cs.LG math.OC stat.ML
Regularization, sparse recovery, and median-of-means tournaments
介绍了一种正则化的风险最小化方法，用于回归函数估计，在一般条件下，包括重尾预测和响应变量，达到接近最优的精度和置信度。该过程基于作者在[8]中引入的均值比赛。结果表明，新的程序优于标准的正则化经验风险最小化程序，如套索或斜率重尾问题。
2017-11-29 math.ST stat.ML stat.TH
lp-Recovery of the Most Significant Subspace among Multiple Subspaces with Outliers
University of Minnesota（明尼苏达大学）
我们假设从d维线性子空间的混合物中采样的数据在每个子空间内具有球对称分布，并且在环境空间内具有球对称分布的附加离群值分量（为了简单起见，我们可以假设所有分布在其对应的单位球上是均匀的）。我们还假设不同成分的混合权重。如果模型的一个底层子空间的混合权重高于所有其他子空间的混合权重之和，则我们说该子空间是最显著的。我们研究了通过最小化数据点到d维子空间的lp平均距离来恢复最重要子空间，其中p>0。与其他lp最小化问题不同，这种最小化对于所有p>0都是非凸的，因此需要不同的方法来分析。我们表明，如果0<p<=1，那么对于任何一部分离群值，最重要的子空间可以通过lp最小化以压倒性的概率（这取决于生成分布及其参数）恢复。我们表明，当在底层子空间周围添加小噪声时，对于任何0<p<=1，最重要的子空间几乎可以通过lp最小化来恢复，误差与噪声水平成比例。另一方面，如果p>1并且存在一个以上的基础子空间，则以压倒性的概率，最重要的子空间不能被恢复或几乎被恢复。最后一个结果不需要球对称离群值。
2014-01-13 cs.CV math.FA stat.ML
LogDet Rank Minimization with Application to Subspace Clustering
Southern Illinois University（南伊利诺伊大学）；University of Hawaii at Hilo（夏威夷大学希洛分校）
低秩矩阵是许多机器学习和计算机视觉问题所需要的。最近的研究大多使用核范数作为秩算子的凸替代。然而，所有奇异值都是简单地通过核范数加在一起，因此在实际问题中可能无法很好地近似秩。在本文中，我们建议使用一个对数行列式（LogDet）函数作为一个光滑和更接近，虽然非凸，近似秩获得低秩表示子空间聚类。采用增广拉格朗日乘子策略迭代优化基于LogDet的非凸目标函数。利用低秩表示的主方向的角度信息，构造了一个用于谱聚类的亲和图矩阵。运动分割和人脸聚类数据的实验结果表明，该方法往往优于国家的最先进的子空间聚类算法。
2015-07-03 cs.CV cs.LG stat.ML
Provable Domain Generalization via Invariant-Feature Subspace Recovery
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
领域泛化要求在一组训练环境中训练的模型在看不见的测试环境中表现良好。近年来，针对领域泛化提出了一系列的算法，如不变风险最小化算法。然而，Rosenfeld等人（2021）表明，在一个简单的线性数据模型中，即使忽略非凸性问题，也不能将非凸性及其扩展推广到具有小于$d_s+1$训练环境的不可见环境，其中$d_s$是虚假特征子空间的维度。在本文中，我们提出了实现领域泛化与不变特征子空间恢复（ISR）。我们的第一个算法ISR-Mean可以从类条件分布的一阶矩中识别出由不变特征所覆盖的子空间，并在Rosenfeld等人（2021）的数据模型下使用$d_s+1$训练环境实现可证明的领域泛化。我们的第二个算法，ISR-Cov，进一步减少了所需的训练环境的数量，$O(1)$使用二阶矩的信息。值得注意的是，与非凸性问题不同，我们的算法绕过了非凸性问题，并享有全局收敛保证。从经验上讲，我们的ISR可以获得优越的性能相比，在合成基准测试。此外，在三个真实世界的图像和文本数据集上，我们证明了这两种ISR都可以用作简单而有效的后处理方法，以提高（预）训练模型在最坏情况下的准确性，以对抗虚假相关性和组移位。
2022-07-07 cs.LG stat.ML
Recovery guarantee of weighted low-rank approximation via alternating minimization
Princeton University（普林斯顿大学）
许多应用需要从条目的噪声观测中恢复地面真实低秩矩阵，这在实践中通常被公式化为加权低秩近似问题，并通过诸如交替最小化的非凸优化算法来解决。本文通过一个简单的交替极小化算法给出了加权低秩的可证明恢复保证。特别是，对于一个自然类的矩阵和权重，没有任何假设的噪声，我们绑定的频谱范数之间的差异恢复矩阵和地面真理，频谱范数的加权噪声加上一个加性误差，减少交替最小化的轮数呈指数下降，从初始化SVD或，更重要的是，随机初始化。这些提供了加权低秩通过交替最小化与非二进制确定性权重的第一个理论结果，显着推广那些矩阵完成，特殊情况下与二进制权重，因为我们的假设是相似的或弱于现有的作品。此外，这是通过一个非常简单的算法来实现的，该算法通过简单的裁剪步骤来改进香草交替最小化。关键的技术挑战是，在非二进制确定性权重下，幼稚的交替步骤将破坏中间解的不相干性和频谱特性，这是朝着地面真理取得进展所必需的。我们表明，属性只需要保持在平均意义上，可以实现的裁剪步骤。我们还提供了一种交替算法，该算法使用白化步骤，通过SDP和Rademacher舍入保持属性，因此需要较弱的假设。该技术可以潜在地应用于其他一些应用中，并且具有独立的兴趣。
2016-12-08 cs.DS cs.LG stat.ML
Sparse Representation of a Polytope and Recovery of Sparse Signals and Low-rank Matrices
本文考虑压缩感知和仿射秩最小化在无噪和有噪情况下，并建立了尖锐的限制等距稀疏信号和低秩矩阵恢复条件。分析依赖于一个关键的技术工具，表示点的多面体的凸组合稀疏向量。该技术是基本的，但导致尖锐的结果。它示出，对于任何给定的常数$t\ge {4/3}$，在压缩感知$δ_{tk}^A < \sqrt{(t-1)/t}$保证精确恢复的所有$k$稀疏信号在无噪声的情况下，通过约束$\ell_1$最小化，并同样在仿射秩最小化$δ_{tr}^\mathcal{M}< \sqrt{(t-1)/t}$确保精确重建的所有矩阵的秩最多$r$在无噪声的情况下，通过约束核范数最小化。此外，对于任何$ε>0$，对于大的$k$，$δ_{tk}^A<\sqrt{\frac{t-1}{t}}+ε$不足以保证所有$k$稀疏信号的精确恢复。类似的结果也适用于基质回收。此外，条件$δ_{tk}^A < \sqrt{(t-1)/t}$和$δ_{tr}^\mathcal{M}< \sqrt{(t-1)/t}$也被证明是足够的，分别为稳定恢复的近似稀疏信号和低秩矩阵在噪声的情况下。
2013-10-22 cs.IT math.IT math.ST
Recommendation on a Budget: Column Space Recovery from Partially Observed Entries with Random or Active Sampling
Stanford University（斯坦福大学）
我们分析了交替最小化的列空间恢复的部分观察到的，近似低秩矩阵的列数不断增加，每列的观测值的固定预算。在这项工作中，我们证明，如果预算大于秩的矩阵，列空间恢复成功-随着列数的增长，从交替最小化的估计收敛到真正的列空间的概率趋于一。从我们的证明技术中，我们自然地制定了一个主动采样策略，用于选择列的条目，该策略在理论上和经验上（在合成和真实数据上）优于通常研究的均匀随机采样策略。
2021-05-16 cs.IR cs.LG stat.ML
Two step recovery of jointly sparse and low-rank matrices: theoretical guarantees
我们介绍了一个两步算法的理论保证，以恢复一个联合稀疏和低秩矩阵的欠采样测量其列。该算法首先使用列的一组公共测量来估计矩阵的行子空间。在第二步中，使用简单的最小二乘算法解决矩阵的子空间感知恢复。在从欠采样测量中恢复CINE数据的背景下验证了结果;当采样条件满足时，我们获得了良好的恢复。
2015-06-02 cs.IT math.IT stat.ML
The Sharp Phase Transition of Tyler's M-Estimator for Robust Subspace Recovery
School of Mathematics, University of Minnesota（明尼苏达大学数学系）；Department of Mathematics, University of Central Florida（中央佛罗里达大学数学系）
研究Tyler's M-估计器在临界信噪比DS-SNR=1时的行为，证明其收敛到真实子空间，建立尖锐相变。
2026-06-04 cs.IT cs.LG math.IT
Greedy Feature Selection for Subspace Clustering
Rice University（莱斯大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究使用贪婪方法（正交匹配追踪）进行子空间聚类的精确特征选择，并证明其在稀疏采样条件下优于最近邻方法。
2013-07-03 cs.LG cs.NA math.NA
Adaptive Stochastic Gradient Descent on the Grassmannian for Robust Low-Rank Subspace Recovery and Clustering
Nanjing University of Information Science and Technology（南京信息工程大学）
本文提出GASG21算法，通过在Grassmann流形上进行自适应随机梯度下降，实现从大矩阵中鲁棒地恢复低秩子空间，并通过K子空间扩展实现对受损数据的聚类。
2015-04-18 cs.CV cs.NA math.NA
Optimal Spectral Recovery of a Planted Vector in a Subspace
在$\mathbb{R}^N$的$n$维随机子空间中恢复种植向量$v$是与机器学习和统计中的许多问题相关的通用任务，例如字典学习、子空间恢复、主成分分析和非高斯成分分析。在这项工作中，我们研究了计算效率的估计和检测种植矢量$v$的$\ell_4$规范不同的高斯矢量具有相同的$\ell_2$规范。例如，在$v$是具有Bernoulli-Gaussian或Bernoulli-Rademacher条目的$N ρ$稀疏向量的特殊情况下，我们的结果包括以下内容：（1）我们对Hopkins，Schramm，Shi和Steurer（2016）提出的谱方法的轻微变体进行了改进分析，表明它在$n ρ\ll \sqrt{N}$中以高概率近似恢复$v$。该条件包含了先前工作所需的条件$ρ\ll 1/\sqrt{n}$或$n \sqrtρ \lesssim \sqrt{N}$，直到多对数因子。我们实现了$\ell_\infty$误差界的频谱估计通过留一法分析，从它遵循一个简单的阈值处理程序，准确地恢复$v$与伯努利-Rademacher条目，即使在密集的情况下$ρ= 1$。(2)我们研究了相关的检测问题，并表明，在该制度$n ρ\gg \sqrt{N}$，任何光谱方法从一个大类（更一般地说，任何低次多项式的输入）未能检测到种植向量。这与恢复的条件相匹配，并且提供了以下证据：当$n ρ\gg \sqrt{N…
2022-10-13 cs.DS math.ST stat.ML
Subspace Recovery from Heterogeneous Data with Non-isotropic Noise
Stanford University（斯坦福大学）；Apple（苹果公司）
从数据中恢复线性子空间是统计学和机器学习中的一项基本而重要的任务。出于异质性的联邦学习设置，我们研究了这个问题的基本公式：主成分分析（PCA），重点是处理不规则的噪声。我们的数据来自$n$用户，其中用户$i$贡献来自具有平均值$μ_i$的$d$维分布的数据样本。我们的目标是使用来自所有用户的数据点来恢复$μ_1,\ldots,μ_n$共享的线性子空间，其中来自用户$i$的每个数据点通过向$μ_i$添加独立的均值零噪声向量来形成。如果我们只有一个数据点，从每个用户，子空间恢复是信息理论上不可能的噪声向量的协方差矩阵时，可以是非球形的，需要额外的限制性假设在以前的工作。我们通过利用来自每个用户的至少两个数据点来避免这些假设，这使我们能够在非球形和用户相关噪声下设计一个可有效计算的估计器。我们证明了我们的估计器的估计误差的上限在一般情况下，数据点的数量和噪声量可以在不同的用户，并证明了信息理论的误差下限，不仅匹配的上限到一个恒定的因素，但也持有即使是球形高斯噪声。这意味着我们的估计器不会由于噪声的不规则性而引入额外的估计误差（直到恒定因子）。我们展示了在类似设置中线性回归问题的其他结果。
2022-10-24 cs.IT cs.LG math.IT
