Sparse Signal Subspace Decomposition Based on Adaptive Over-complete Dictionary
本文提出了一种基于稀疏表示的过完备字典的子空间分解方法，称为“稀疏信号子空间分解”（或3SD）方法。该方法利用了一种新的标准的基础上出现的原子的字典的数据集的频率。该准则充分反映了信号的内在规律性，适用于相关基组上的子空间分解。3SD方法将方差、稀疏性和分量频率标准结合到一个统一的框架中。它利用了过完备字典的优点，保留了细节信息，利用子空间分解的优点，抑制了强噪声。3SD方法非常简单，具有线性检索操作。它不需要任何关于分布或参数的先验知识。当应用于图像去噪时，它在保持细节和抑制强噪声方面表现出很高的性能。
2016-10-27 stat.ML
On the exact minimization of saturated loss functions for robust regression and subspace estimation
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学及其应用研究实验室）
本文讨论了稳健回归和子空间估计，更精确地说，讨论了最小化饱和损失函数的问题。特别是，我们专注于计算复杂性的问题，并表明，一个确切的算法与多项式时间复杂度相对于数据的数量可以设计强大的回归和子空间估计。这个结果是通过采用分类的观点，并与搜索的线性模型，可以近似的最大数量的点与给定的错误的问题。基于随机采样的算法的近似变量也进行了讨论，实验表明，它提供了一个类似的算法简单的精度增益比传统的RANSAC。
2018-08-24 cs.LG stat.ML
LogDet Rank Minimization with Application to Subspace Clustering
Southern Illinois University（南伊利诺伊大学）；University of Hawaii at Hilo（夏威夷大学希洛分校）
低秩矩阵是许多机器学习和计算机视觉问题所需要的。最近的研究大多使用核范数作为秩算子的凸替代。然而，所有奇异值都是简单地通过核范数加在一起，因此在实际问题中可能无法很好地近似秩。在本文中，我们建议使用一个对数行列式（LogDet）函数作为一个光滑和更接近，虽然非凸，近似秩获得低秩表示子空间聚类。采用增广拉格朗日乘子策略迭代优化基于LogDet的非凸目标函数。利用低秩表示的主方向的角度信息，构造了一个用于谱聚类的亲和图矩阵。运动分割和人脸聚类数据的实验结果表明，该方法往往优于国家的最先进的子空间聚类算法。
2015-07-03 cs.CV cs.LG stat.ML
Weighted Sparse Subspace Representation: A Unified Framework for Subspace Clustering, Constrained Clustering, and Active Learning
University of Cambridge（剑桥大学）；Lancaster University（兰卡斯特大学）
基于谱的子空间聚类方法在许多具有挑战性的应用中已经被证明是成功的，例如基因测序、图像识别和运动分割。在这项工作中，我们首先提出了一种新的基于谱的子空间聚类算法，旨在表示每个点作为一个稀疏的凸组合的几个附近的点。然后，我们将算法扩展到约束聚类和主动学习设置。我们开发这样一个框架的动机源于这样一个事实，即通常可以提前获得少量的标记数据;或者有可能以一定的成本标记某些点。后一种情况通常在验证集群分配的过程中遇到。仿真和真实数据集上的实验表明，该方法是有效的，具有竞争力的国家的最先进的方法。
2021-06-08 cs.LG stat.ML
lp-Recovery of the Most Significant Subspace among Multiple Subspaces with Outliers
University of Minnesota（明尼苏达大学）
我们假设从d维线性子空间的混合物中采样的数据在每个子空间内具有球对称分布，并且在环境空间内具有球对称分布的附加离群值分量（为了简单起见，我们可以假设所有分布在其对应的单位球上是均匀的）。我们还假设不同成分的混合权重。如果模型的一个底层子空间的混合权重高于所有其他子空间的混合权重之和，则我们说该子空间是最显著的。我们研究了通过最小化数据点到d维子空间的lp平均距离来恢复最重要子空间，其中p>0。与其他lp最小化问题不同，这种最小化对于所有p>0都是非凸的，因此需要不同的方法来分析。我们表明，如果0<p<=1，那么对于任何一部分离群值，最重要的子空间可以通过lp最小化以压倒性的概率（这取决于生成分布及其参数）恢复。我们表明，当在底层子空间周围添加小噪声时，对于任何0<p<=1，最重要的子空间几乎可以通过lp最小化来恢复，误差与噪声水平成比例。另一方面，如果p>1并且存在一个以上的基础子空间，则以压倒性的概率，最重要的子空间不能被恢复或几乎被恢复。最后一个结果不需要球对称离群值。
2014-01-13 cs.CV math.FA stat.ML
High-Dimensional Bayesian Optimization with Sparse Axis-Aligned Subspaces
Facebook（脸书）；Broad Institute of Harvard and MIT（哈佛大学与麻省理工学院博德研究所）
贝叶斯优化（BO）是一个强大的范例，有效优化黑箱目标函数。高维BO提出了一个特殊的挑战，部分原因是维数灾难使得难以定义合适的一类代理模型，以及对其进行推理。我们认为，高斯过程代理模型定义在稀疏轴对齐的子空间提供了一个有吸引力的灵活性和简约性之间的妥协。我们证明，我们的方法，它依赖于汉密尔顿蒙特卡罗推理，可以快速识别稀疏子空间相关的建模未知的目标函数，使样本高效的高维BO。在一系列广泛的实验中，与现有的高维BO方法相比，我们证明了我们的算法，稀疏轴对齐子空间BO（SAASBO），在几个合成和现实世界的问题上实现了出色的性能，而无需设置特定于问题的超参数。
2021-06-10 cs.LG stat.ML
Noisy $\ell^{0}$-Sparse Subspace Clustering on Dimensionality Reduced Data
Baidu Research（百度研究院）；Arizona State University（亚利桑那州立大学）
研究表明，基于$\ell^{0}$范数的稀疏子空间聚类方法（$\ell^{0}$-SSC）~ \citep{YangFJYH16-L0SSC-ijcv}比稀疏子空间聚类方法（SSC）~ $\ell^{1}$更有效.然而，$\ell^{0}$ -SSC的理论分析仅限于完全位于子空间中的干净数据。真实数据经常受到噪声的影响，并且它们可能位于子空间附近。在本文中，我们表明，噪声$\ell^{0}$ -SSC的优化问题的最佳解决方案实现子空间检测性能（SDP），一个关键因素，从不同的子空间的数据分离，在确定性和半随机模型。我们的结果首次从理论上保证了噪声$\ell^{0}$ -SSC在噪声数据上的SDP的正确性，从而揭示了噪声$\ell^{0}$ -SSC在对子空间亲和度的限制条件少得多方面的优势.为了提高噪声$\ell^{0}$ -SSC的效率，我们提出了Noisy-DR- $\ell^{0}$ -SSC，它可证明地恢复降维数据上的子空间。Noisy-DR- $\ell^{0}$ -SSC首先通过随机投影将数据投影到低维空间，然后对投影数据执行Noisy $\ell^{0}$ -SSC以提高效率。实验结果证明了Noisy-DR- $\ell^{0}$ -SSC的有效性。
2022-06-22 cs.LG stat.ML
Subspace-Sparse Representation
给定过完备字典$A$和作为$A$的几个线性独立列的线性组合的信号$b$，经典稀疏恢复理论处理恢复唯一稀疏表示$x$使得$b = A x$的问题。已知在一定条件下，$A$上的$x$可以通过基追踪（BP）和正交匹配追踪（OMP）算法恢复。在这项工作中，我们考虑更一般的情况下，$b$在于一个低维子空间跨越的$A$，这可能是线性相关的一些列。在这种情况下，稀疏解$x$一般是不唯一的，我们研究的问题，表示$x$确定的子空间，即非零条目的$x$对应的字典原子的子空间。这样的表示$x$称为子空间稀疏。我们提出了保证子空间稀疏恢复的充分条件，这些条件具有清晰的几何解释，并解释了子空间稀疏恢复的性质。我们还证明了在随机化模型下，充分条件可以满足。我们的结果是适用于传统的稀疏恢复问题，我们得到的条件稀疏恢复的限制比规范的相互相干条件。我们还利用这些结果对基于稀疏表示的分类方法进行了分析，得到了证明其正确性的条件。
2015-07-06 cs.IT math.IT stat.ML
A Fast deflation Method for Sparse Principal Component Analysis via Subspace Projections
School of Mathematics and Information Sciences, Yantai University（烟台大学数学与信息科学学院）；Department of Mathematics, Shandong Normal University（山东师范大学数学学院）
在高维数据集上实现传统的稀疏主成分分析（SPCA）已成为一项耗时的工作。本文利用Household QR分解有效地构造了一系列子空间投影。利用这些子空间投影，提出了一种快速收缩的SPCA方法，称为SPCA-SP。该方法在稀疏性、正交性、解释方差、稀疏性平衡和计算成本等各种标准之间保持了良好的权衡。在基准数据集上的对比实验证实了该方法的有效性。
2019-12-06 cs.LG stat.ML
Graph Connectivity in Noisy Sparse Subspace Clustering
Carnegie Mellon University（卡内基梅隆大学）
子空间聚类是将数据点聚类到低维线性/仿射子空间的并集中的问题。它是计算机视觉、图像处理和机器学习中许多重要问题的数学抽象。最近的一系列工作（4，19，24，20）为稀疏子空间聚类（4）提供了强有力的理论保证，稀疏子空间聚类是子空间聚类的最新算法，适用于无噪声和噪声数据集。它表明，在温和的条件下，以高概率没有两个点从不同的子空间聚集在一起。然而，由于臭名昭著的“图连通性问题”（15），这种保证不足以使聚类正确。在本文中，我们调查的图形连接性问题的噪声稀疏子空间聚类，并表明，一个简单的后处理过程是能够提供一致的聚类在一定的“一般位置”或“限制特征值”的假设。我们还表明，我们的条件几乎是紧对抗噪声扰动通过构建一个反例。这些结果提供了第一个确切的聚类保证嘈杂SSC的子空间的尺寸大于3。
2016-04-11 cs.LG stat.ML
A Novel Efficient Approach with Data-Adaptive Capability for OMP-based Sparse Subspace Clustering
Shenzhen Graduate School, Peking University（北京大学深圳研究生院）
正交匹配追踪算法在数据科学及其稀疏子空间聚类、图像处理等应用中有着重要的作用。然而，现有的基于OMP的方法缺乏数据自适应性，从而不能很好地表示数据，并可能失去准确性。本文提出了一种新的方法，以提高基于OMP的稀疏子空间聚类的数据自适应能力。在我们的方法中，参数选择过程的基础上调整的数据分布的信息表示的参数。我们的理论分析表明，参数选择过程可以有效地协调任何OMP为基础的方法，以提高聚类性能。此外，一个新的自我表达的亲和力（SEA）比率度量的定义来衡量稀疏表示转换效率的谱聚类，以获得数据分割。实验结果表明，与其他基于OMP的稀疏子空间聚类算法相比，该算法在聚类精度、SEA比和表示质量等方面均具有更好的性能，同时保持了时间效率和抗噪能力。
2019-08-30 cs.LG stat.ML
Scalable Sparse Subspace Clustering via Ordered Weighted $\ell_1$ Regression
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文的主要贡献是一种新的子空间聚类方法，该方法比现有的最先进的方法具有更高的计算效率和可扩展性。其中心思想是修改稀疏子空间聚类（SSC）中的回归技术，通过用称为有序加权$\ell_1$（OWL）最小化的泛化来替换$\ell_1$最小化，该泛化同时执行相关变量的回归和聚类。利用随机几何图理论，我们证明了OWL回归在每个子空间内选择更多的点，从而产生更好的聚类结果。这允许基于仅针对总数据集的一小部分的回归解决方案的精确子空间聚类，与SSC相比显著降低了计算复杂性。在实验中，我们发现我们的OWL方法可以实现20 $\times$到30 $\times$的合成问题和4 $\times$到8 $\times$的实际数据问题的加速比。
2018-07-10 cs.LG stat.ML
Sparse-Dense Subspace Clustering
Peking University（北京大学）
子空间聚类是指将高维数据聚类到低维子空间的联合中的问题。目前的子空间聚类方法通常是基于一个两阶段的框架。在第一阶段中，从数据生成亲和矩阵。在第二种方法中，谱聚类应用于亲和矩阵。然而，两阶段方法产生的亲和矩阵不能完全揭示来自同一子空间的数据点之间的相似性（子空间内相似性），导致不准确的聚类。此外，大多数方法无法解决大规模的聚类问题，由于效率低下。在本文中，我们首先提出了一个新的可扩展的稀疏方法称为迭代最大相关（IMC）从数据中学习的亲和矩阵。然后，我们开发了分段相关估计（PCE），以增加由IMC产生的子空间内的相似性。最后，我们将我们的工作扩展到一个稀疏-密集子空间聚类（SDSC）框架中，其中包含一个密集阶段来优化两阶段方法的亲和矩阵。我们表明，IMC是有效的聚类大规模数据时，PCE确保更好的性能IMC。我们也展示了SDSC框架的普遍性。在多个数据集上的实验证明了该方法的有效性。此外，我们是第一个在谱聚类之前对亲和矩阵进行加密的人，SDSC构成了建立通用的三阶段子空间聚类框架的第一次尝试。
2019-10-20 cs.LG stat.ML
Dual Iterative Hard Thresholding: From Non-convex Sparse Minimization to Non-smooth Concave Maximization
Rutgers University（罗格斯大学）；Nanjing University of Information Science & Technology（南京信息工程大学）
迭代硬约束保持（IHT）是一类用于优化稀疏约束最小化模型的投影梯度下降方法，具有最好的效率和可扩展性。据我们所知，现有的IHT风格的方法被设计为原始形式的稀疏最小化。它仍然开放，探索对偶理论和算法在这样一个非凸和NP-难的问题设置。在本文中，我们建立了一个对偶理论的稀疏约束最小化与$\ell_2$正则化损失函数，并提出了一个IHT风格的算法对偶最大化。我们的稀疏对偶理论提供了一组充分和必要的条件下，原来的NP-难/非凸问题可以等价地解决在一个对偶制定。提出的对偶IHT算法是一种最大化非光滑对偶目标的超梯度算法。一个有趣的发现是，双IHT的稀疏恢复性能是不变的限制等距属性（RIP），这是所需的几乎所有现有的原始IHT算法没有稀疏松弛。此外，提出了一种随机变形的对偶IHT的大规模随机优化。数值结果表明，双重IHT算法的优越性，最先进的原始IHT风格的算法在模型估计精度和计算效率。
2017-06-21 cs.LG stat.ML
Restricted Connection Orthogonal Matching Pursuit For Sparse Subspace Clustering
Information Security Lab, Institute of Big Data Technologies,\ Graduate School, Peking University
稀疏子空间聚类（SSC）是将数据点聚类到其底层子空间的最流行的方法之一。然而，SSC可能遭受沉重的计算负担。应用于SSC的正交匹配追踪加速了计算，但代价是聚类精度的损失。本文提出了一种抗噪声的稀疏子空间聚类算法--限制连接正交匹配追踪算法（RCOMP-SSC），该算法通过限制OMP迭代过程中每个数据点的连接数来提高聚类精度并保持较低的计算时间。此外，我们开发了一个控制矩阵的框架，实现RCOMP-SCC。该框架可扩展到其他数据点选择策略。我们的分析和实验合成数据和两个真实世界的数据库（EYaleB & USPS）证明了我们的算法相比，其他聚类方法的精度和计算时间的优越性。
2019-05-01 cs.LG stat.ML
Stochastic Sparse Subspace Clustering
Beijing University of Posts and Telecommunications（北京邮电大学）；University of California, Berkeley（加州大学伯克利分校）
最先进的子空间聚类方法是基于自表达模型，它将每个数据点表示为其他数据点的线性组合。通过强制这种表示是稀疏的，稀疏子空间聚类保证产生子空间保持数据亲和力，其中两个点只有在它们来自相同子空间时才连接。然而，另一方面，来自相同子空间的数据点可能没有良好连接，导致过度分割的问题。我们引入dropout来解决过度分割的问题，这是基于随机丢弃自表达模型中的数据点。特别地，我们证明了dropout等价于在表示系数上增加一个平方$\ell_2$范数正则化，从而诱导出更密集的解。然后，我们将优化问题重新表述为一组小规模子问题上的共识问题。这导致了一个可扩展的和灵活的稀疏子空间聚类方法，称为随机稀疏子空间聚类，它可以有效地处理大规模的数据集。在合成数据和真实世界数据集上的大量实验验证了我们的建议的效率和有效性。
2020-05-04 cs.CV cs.LG stat.ML
Smoothed Low Rank and Sparse Matrix Recovery by Iteratively Reweighted Least Squares Minimization
National University of Singapore（新加坡国立大学）；Peking University（北京大学）
这项工作提出了一个通用的框架，用于解决低秩和/或稀疏矩阵最小化问题，这可能涉及多个非光滑项。迭代加权最小二乘法（IRLS）是一种快速求解器，它通过交替更新变量及其权重来平滑目标函数并使其最小化。然而，传统的IRLS只能解决稀疏或低秩的平方损失或仿射约束的最小化问题。这项工作推广IRLS解决联合/混合低秩和稀疏最小化问题，这是许多任务的基本配方。作为一个具体的例子，我们用IRLS求解了$p$范数和$\ell_{2,q}$ -范数正则化的低秩表示（LRR）问题，并从理论上证明了所导出的解是一个稳定点（如果$p,q\geq1$是全局最优的）.我们的IRLS的收敛性证明比以前的证明更一般，它依赖于$p$范数和$\ell_{2,q}$ -范数的特殊性质.在合成数据集和真实数据集上的大量实验表明，我们的IRLS更有效。
2014-12-06 cs.CV cs.LG stat.ML
Learning Sparsely Used Overcomplete Dictionaries via Alternating Minimization
Microsoft Research（微软研究院）；University of California, Irvine（加州大学欧文分校）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
我们考虑稀疏编码的问题，其中每个样本由一组字典原子的稀疏线性组合组成，任务是学习字典元素和混合系数。交替最小化是稀疏编码的一种流行的启发式算法，其中字典和系数在交替的步骤中估计，保持另一个固定。通常，通过$\ell_1$最小化来估计系数，保持字典固定，并且通过最小二乘法来估计字典，保持系数固定。在本文中，我们建立局部线性收敛的这种变体交替最小化，并建立吸引盆地的全局最优值（对应于真正的字典和系数）是$\order{1/s^2}$，其中$s$是稀疏水平，在每个样本和字典满足RIP。结合最近的结果近似字典估计，这产生可证明的保证字典元素和系数的精确恢复，当字典元素是不连贯的。
2014-07-28 cs.LG math.OC stat.ML
Large-Scale Sparse Subspace Clustering Using Landmarks
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
基于将每个数据点表示为数据集中所有其他点的线性组合的子空间聚类方法是流行的无监督学习技术。然而，现有的方法招致高计算复杂性的大规模数据集，因为它们需要解决一个昂贵的优化问题，并执行大型亲和矩阵的谱聚类。本文提出了一种有效的子空间聚类方法，通过选择一个小子集的输入数据称为地标。由此产生的子空间聚类方法在减少域运行在线性时间相对于原始数据的大小。对合成数据和实际数据的数值实验表明了该方法的有效性。
2019-08-02 cs.LG stat.ML
Minimax sparse principal subspace estimation in high dimensions
研究了高维稀疏主成分分析，其中变量数$p$可以远大于观测数$n$，并分析了总体协方差阵的主特征向量所张成的子空间的估计问题.我们引入了$\ell_q$子空间稀疏性的两个互补概念：行稀疏性和列稀疏性。证明了$0\leq q\leq1$的极大极小子空间估计误差的非渐近上下上界。该界对于行稀疏子空间是最优的，对于列稀疏子空间是接近最优的，它们适用于一般类的协方差阵，并且它们表明$\ell_q$约束估计可以在没有限制性尖峰协方差条件的情况下获得最优的Minimax率。有趣的是，当有效噪声方差被适当定义时，速率的形式与稀疏回归的已知结果相匹配。我们的证明采用了一种新的变分$\sinΘ$定理，可能是有用的，在其他正则化谱估计问题。
2014-01-03 math.ST stat.ML stat.TH
Accelerated Sparse Subspace Clustering
University of Texas at Austin（德克萨斯大学奥斯汀分校）
用于稀疏子空间聚类的现有技术算法对相似性矩阵执行谱聚类，该相似性矩阵通常通过使用基追踪（BP）或正交匹配追踪（OMP）将每个数据点表示为其他点的稀疏组合来获得。基于BP的方法在实践中往往令人望而却步，而基于OMP的方案的性能并不令人满意，特别是在数据点高度相似的情况下。在本文中，我们提出了一种新的算法，利用正交最小二乘的加速变量，有效地找到底层的子空间。我们表明，在一定条件下，该算法返回一个子空间保持的解决方案。仿真结果表明，所提出的方法与基于BP的方法相比，在运行时间方面，而显着更准确的基于OMP的计划。
2017-10-31 cs.CV cs.LG stat.ML
Stable Sparse Subspace Embedding for Dimensionality Reduction
Zhengzhou University（郑州大学）；Xidian University（西安电子科技大学）
稀疏随机投影（RP）是一种流行的降维工具，表现出良好的性能与低计算复杂性。然而，在现有的稀疏RP矩阵中，非零元素的位置通常是随机选择的。虽然它们都采用了带替换的均匀抽样，但由于抽样方差较大，一次产生的投影矩阵的非零个数在各行之间不均匀，降维后可能丢失更多的数据信息。为了突破这一瓶颈，本文基于统计学中的随机抽样不替换原理，构造了一种稳定的稀疏子空间嵌入矩阵（S-SSE）。证明了S-SSE比已有的矩阵更稳定，降维后能很好地保持点间欧氏距离。我们的实证研究证实了我们的理论研究结果，并证明我们的方法确实可以取得令人满意的性能。
2020-02-07 cs.LG stat.ML
Online Decomposition of Compressive Streaming Data Using $n$-$\ell_1$ Cluster-Weighted Minimization
我们考虑的压缩流数据的分解方法的背景下，在线压缩鲁棒主成分分析（RPCA）。所提出的分解解决了$n$ - $\ell_1$聚类加权最小化，以将来自压缩测量的帧（或向量）序列分解成稀疏和低秩分量。我们的方法从少量的测量中处理每个时间实例的流的数据向量，而传统的批量RPCA需要访问完整的数据。$n$ - $\ell_1$聚类加权最小化利用稀疏分量及其与多个先前恢复的稀疏向量的相关性。此外，所提出的最小化可以利用稀疏组件的结构，通过聚类和重新加权迭代。该方法优于现有的方法，数值数据和实际的视频数据。
2018-02-08 cs.IT math.IT stat.ML
Training Bayesian Neural Networks with Sparse Subspace Variational Inference
Purdue University（普渡大学）
提出首个完全稀疏的贝叶斯神经网络框架SSVI，通过交替优化稀疏子空间基选择与参数，在训练和推断全程保持高稀疏性，大幅降低训练成本并实现10-20倍模型压缩且性能损失极小。
2024-02-16 cs.LG stat.ML
Sparse Subspace Clustering for Concept Discovery (SSCCD)
Fraunhofer Heinrich-Hertz-Institute（弗劳恩霍夫海因里希·赫兹研究所）；TU Berlin（柏林工业大学）；Oldenburg University（奥尔登堡大学）
概念是人类更高层次理解的关键组成部分。近年来，可解释人工智能（XAI）方法取得了巨大的进展，然而，局部归因方法不允许识别跨样本的连贯模型行为，因此错过了这一重要组成部分。在这项工作中，我们研究了基于概念的解释，并提出了一个新的定义概念的低维子空间的隐藏特征层。我们新颖地应用稀疏子空间聚类来发现这些概念子空间。展望未来，我们从概念子空间的本地化输入（概念）地图方面获得见解，展示如何量化概念相关性，最后，评估概念之间的相似性和可转移性。我们经验证明了建议的稀疏子空间聚类概念发现（SSCCD）方法的各种不同的图像分类任务的合理性。这种方法可以更深入地了解实际模型的行为，而这些行为在传统的输入级热图中仍然是隐藏的。
2022-03-11 cs.AI cs.LG stat.ML
A Theoretical Analysis of Noisy Sparse Subspace Clustering on Dimensionality-Reduced Data
Carnegie Mellon University（卡内基梅隆大学）
子空间聚类是将未标记的数据点划分为多个簇的问题，使得一个簇内的数据点近似位于低维线性子空间上。在许多实际应用中，由于测量、计算或隐私等方面的限制，待聚类数据点的维数被压缩。本文研究了一种流行的子空间聚类算法稀疏子空间聚类（SSC）的理论性质，建立了稀疏子空间聚类在降维数据上的形式化成功条件。我们的分析适用于最一般的完全确定性模型，其中每个子空间内的底层子空间和数据点都是确定性定位的，并且还适用于各种降维技术（例如，高斯随机投影，均匀子采样，草图），落入子空间嵌入框架（Meng & Mahoney，2013; Avron等人，2014年）。最后，我们将我们的分析应用于差分私有SSC算法，并建立了所提出的方法的隐私和效用保证。
2016-10-24 cs.LG stat.ML
Dynamic Multivariate Functional Data Modeling via Sparse Subspace Learning
National University of Singapore（新加坡国立大学）；Arizona State University（亚利桑那州立大学）；Samsung Electronics（三星电子）；Georgia Institute of Technology（佐治亚理工学院）
来自复杂系统的多元函数数据自然是高维的，并且具有复杂的互相关结构。数据结构的复杂性可以被观察为：（1）一些函数与相似的特征强烈相关，而另一些函数可能与非常不同的特征几乎没有互相关;以及（2）互相关结构也可能由于系统演化而随时间变化。针对这一问题，本文提出了一种基于动态子空间学习的多元函数数据建模方法。特别地，我们考虑不同的函数来自不同的子空间，并且只有相同子空间的函数彼此具有互相关。子空间可以通过将问题重新格式化为稀疏回归来自动制定和学习。通过允许但规则化随时间的回归变化，我们可以描述互相关动态。该模型可以有效地估计的快速迭代收缩阈值算法（FISTA），每个子空间的特征可以使用光滑的多通道功能PCA提取。数值研究和案例研究表明，所提出的方法的效率和适用性。
2018-04-11 cs.LG stat.ML
Direct loss minimization algorithms for sparse Gaussian processes
Indiana University（印第安纳大学）；Microsoft Research New England（微软研究院新英格兰分院）
本文提供了一个深入的调查直接损失最小化（DLM），优化后，以最大限度地减少预测损失，在稀疏高斯过程。对于共轭的情况下，我们认为DLM的对数损失和DLM的平方损失显示在这两种情况下显着的性能改善。DLM在非共轭情况下的应用更加复杂，因为对数损失DLM目标中的期望对数通常是难以处理的，并且简单的采样导致梯度的有偏估计。本文提出了两个技术贡献，以解决这个问题。首先，提出了一种新的方法，使用产品抽样，它给出了无偏估计的梯度（uPS）的目标函数。其次，有偏蒙特卡罗估计（bMC）的理论分析表明，随机梯度下降收敛，尽管有偏梯度。实验证明了DLM的经验成功。采样方法的比较表明，虽然uPS是潜在的采样效率更高，bMC提供了一个更好的权衡收敛时间和计算效率。
2020-10-27 cs.LG stat.ML
Block-wise Minimization-Majorization algorithm for Huber's criterion: sparse learning and applications
Aalto University（阿尔托大学）
Huber准则可用于线性模型中回归参数和尺度参数的稳健联合估计。Huber（Huber，1981）引入该准则的动机源于联合极大似然目标函数的非凸性以及相关尺度ML估计的非鲁棒性（无界影响函数）。在本文中，我们说明了如何由Huber提出的原始算法可以设置在块最小化优化框架。此外，我们提出了新的数据自适应步长的位置和规模，这是进一步提高收敛。然后，我们说明如何Huber的标准可以用于稀疏学习欠定线性模型使用迭代硬阈值的方法。我们说明了有用的算法在图像去噪的应用和仿真研究。
2020-08-25 cs.LG stat.ME stat.ML
Finding a sparse vector in a subspace: Linear sparsity using alternating directions
Columbia University（哥伦比亚大学）
用$\mathrm{dim}(\mathcal{S})= n < p$在通用子空间$\mathcal{S} \subseteq \mathbb{R}^p$中找到稀疏向量（方向）是否可能？这个问题可以被认为是稀疏恢复问题的同质变体，并发现与稀疏字典学习，稀疏PCA以及信号处理和机器学习中的许多其他问题的联系。在本文中，我们专注于一个 ** 种植稀疏模型 ** 的子空间：目标稀疏向量嵌入在一个随机的子空间。当目标稀疏向量中的非零条目的分数大大超过$O(1/\sqrt{n})$时，用于该种植恢复问题的简单凸算法可证明地失效。相比之下，我们展示了一个相对简单的非凸方法的基础上交替的方向，证明成功，即使当非零条目的分数是$Ω(1)$。据我们所知，这是第一个在种植稀疏模型下实现线性缩放的实用算法。从经验上讲，我们提出的算法在更具有挑战性的数据模型中也取得了成功，例如，稀疏字典学习
2016-07-20 cs.CV cs.IT cs.LG
Fast Robust Subspace Tracking via PCA in Sparse Data-Dependent Noise
Iowa State University（爱荷华州立大学）
本文研究了鲁棒子空间跟踪问题。鲁棒ST可以简单地理解为鲁棒PCA的（慢）时变子空间扩展。它假设真实数据位于一个低维子空间中，该子空间要么是固定的，要么随时间缓慢变化。我们的目标是在存在可加稀疏离群值的情况下跟踪随时间变化的子空间，并快速完成（具有短延迟）。我们引入了一个“快速”的小批量强大的ST解决方案，是可证明正确的温和的假设下。这里“快速”意味着两件事：（i）可以检测到子空间变化，并且可以以接近最优的延迟跟踪子空间，以及（ii）这样做的时间复杂度与简单（非鲁棒）PCA的时间复杂度相同。我们的主要结果假设分段常数子空间（需要可识别性），但我们也提供了一个推论的情况下，每次有一点变化。第二个贡献是一个新的非渐近保证PCA在线性数据相关的噪声。这是有用的一个重要设置是用于线性数据相关噪声，该噪声是稀疏的，支持随时间变化足够。我们提出的鲁棒ST解决方案的子空间更新步骤的分析使用这个结果。
2020-12-04 cs.IT cs.LG math.IT
Sparse Subspace Clustering: Algorithm, Theory, and Applications
University of California, Berkeley（加州大学伯克利分校）；The Johns Hopkins University（约翰斯·霍普金斯大学）
在许多现实世界的问题中，我们处理的是高维数据的集合，如图像、视频、文本和Web文档、DNA微阵列数据等。通常，高维数据位于与数据所属的几个类或类别相对应的低维结构附近。在本文中，我们提出并研究了一种算法，称为稀疏子空间聚类（SSC），聚类数据点，位于低维子空间的联合。其关键思想是，在一个数据点的无限多个可能的表示中，稀疏表示对应于从同一子空间中选择几个点。这促使求解稀疏优化程序，其解决方案用于谱聚类框架中，以推断将数据聚类到子空间中。由于解决稀疏优化程序一般是NP-难的，我们认为凸松弛，并表明，在适当的条件下，安排的子空间和数据的分布，建议的最小化程序成功地恢复所需的稀疏表示。该算法可以有效地解决，并可以处理数据点附近的交叉子空间。所提出的算法相对于现有技术的另一个关键优点是，它可以处理数据的滋扰，如噪声，稀疏的离群条目，和丢失的条目，直接通过将数据的模型到稀疏优化程序。我们通过对合成数据以及运动分割和人脸聚类这两个实际问题的实验，证明了该算法的有效性。
2013-02-05 cs.CV cs.IR cs.IT
A sparse semismooth Newton based proximal majorization-minimization algorithm for nonconvex square-root-loss regression problems
Zhejiang University City College（浙大城市学院）；Southwest Jiaotong University（西南交通大学）；The Hong Kong Polytechnic University（香港理工大学）；National University of Singapore（新加坡国立大学）
本文考虑高维非凸平方根损失回归问题，并提出了一种近似优化最小化算法。我们的关键思想，使建议的PMM是有效的是开发一个稀疏半光滑牛顿方法来解决相应的子问题。利用下划线问题中的Kurdyka-Schojasiewicz性质，证明了PMM算法收敛于d-平稳点.我们还分析了算法中初始子问题的预言性质。大量的数值实验证明了所提出的PMM算法的高效率。
2020-05-27 cs.LG cs.NA math.NA
Scalable Sparse Subspace Clustering by Orthogonal Matching Pursuit
Johns Hopkins University（约翰斯·霍普金斯大学）
基于$\ell_1$、$\ell_2$或核范数正则化的子空间聚类方法由于其简单性、理论保证和经验成功而变得非常流行。然而，正则化子的选择可以极大地影响理论和实践。例如，保证$\ell_1$正则化给出子空间保持亲和性（即，在来自不同子空间的点之间没有连接）在广泛的条件下（例如，任意子空间和损坏的数据）。然而，它需要解决一个大规模的凸优化问题。另一方面，$\ell_2$和核范数正则化提供了有效的封闭形式解，但是需要非常强的假设来保证子空间保持亲和性，例如，独立的子空间和未损坏的数据。本文研究了一种基于正交匹配追踪的子空间聚类方法。我们表明，该方法是计算效率和保证在广泛的条件下，给一个子空间保持亲和力。在合成数据上的实验验证了理论分析的正确性，并在手写数字和人脸聚类中的应用表明，该方法在准确率和效率之间取得了最佳的平衡。
2016-05-05 cs.CV cs.LG stat.ML
Robust Subspace Clustering via Tighter Rank Approximation
Southern Illinois University（南伊利诺伊大学）
矩阵秩最小化问题一般是NP-难的。核范数在最近的许多研究中被用来代替秩函数。然而，核范数近似将所有奇异值加在一起，并且近似误差可能在很大程度上取决于奇异值的大小。这可能会限制其处理许多实际问题的能力。在本文中，反正切函数被用来作为一个更紧密的逼近秩函数。我们将其用于具有挑战性的子空间聚类问题。对于这个非凸最小化问题，我们开发了一种有效的优化程序的基础上的一种增广拉格朗日乘子（ALM）方法。大量的人脸聚类和运动分割实验表明，该方法是有效的秩近似。
2015-10-30 cs.AI cs.CV cs.LG
Basis Pursuit and Orthogonal Matching Pursuit for Subspace-preserving Recovery: Theoretical Analysis
Lehigh University（利哈伊大学）；The Johns Hopkins University（约翰斯·霍普金斯大学）
给定一个过完备字典$A$和一个信号$b = Ac^*$，其中某个稀疏向量$c^*$的非零元素对应于$A$的线性无关列，经典稀疏信号恢复理论考虑$c^*$是否可以恢复为$b = A c$的唯一稀疏解的问题.现在很好地理解，当字典$A$是不相干的或受限制的等距的时，这种恢复通过实用算法是可能的。在本文中，我们考虑更一般的情况下，$b$位于一个子空间$\mathcal{S}_0$由一个子集的线性相关列的$A$，其余列的子空间之外。在这种情况下，稀疏表示可能不是唯一的，并且字典可能不是不连贯的或受限制的等距的。目标是使表示$c$正确地标识子空间，即，$c$的非零条目应当对应于子空间$\mathcal{S}_0$中的$A$的列。这种表示$c$被称为子空间保持，这是一个关键概念，在高维数据中学习低维结构时有重要应用。我们提出了各种几何条件，保证子空间保持恢复。其中，覆盖半径和角距离分别刻画了子空间中点的分布以及子空间中点与子空间外点的相似性.重要的是，这些条件并不要求字典是不连贯的或受限制的等距。通过建立子空间保持恢复问题和经典的稀疏信号恢复问题在后者的共同假设下是等价的，我们证明了我们提出的几个条件是稀疏信号恢复文献中一些众所周知的条件的推广。
2019-12-30 cs.CV cs.LG stat.ML
Finding the Sparsest Vectors in a Subspace: Theory, Algorithms, and Applications
New York University（纽约大学）；University of Denver（丹佛大学）；Chinese University of Hong Kong（香港中文大学）；ShanghaiTech University（上海科技大学）；Columbia University（哥伦比亚大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
在低维子空间中找到稀疏向量（方向）的问题可以被认为是稀疏恢复问题的齐次变体，其在鲁棒子空间恢复、字典学习、稀疏盲反卷积以及信号处理和机器学习中的许多其他问题中找到应用。然而，与经典的稀疏恢复问题相比，在子空间中寻找稀疏向量的最自然的公式通常是非凸的。在本文中，我们概述了最近的进展，解决这个问题的全局非凸优化理论，从几何分析的优化景观，有效的优化算法解决相关的非凸优化问题，在机器智能，表示学习，和成像科学的应用。最后，我们通过指出未来研究的几个有趣的开放问题来总结这篇评论。
2020-01-20 cs.IT cs.LG eess.IV
Sample Efficient Linear Meta-Learning by Alternating Minimization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）；University of Washington（华盛顿大学）
元学习综合并利用来自给定任务集的知识，以使用非常少的数据快速学习新任务。线性回归任务的元学习是该领域研究较多的基本问题。然而，现有的结果要么保证高度次优的估计误差，要么要求每个任务的$Ω(d)$样本（其中$d$是数据维度），从而提供了比单独学习每个任务几乎没有增益。在这项工作中，我们研究了一个简单的交替最小化方法（MLLAM），交替学习低维子空间和回归。我们发现，对于一个恒定的子空间维数MLLAM获得接近最优的估计误差，尽管只需要$Ω(\log d)$样本每个任务。然而，每个任务所需的样本数量随着任务数量的增加而增加。为了弥补这一点，在低噪声制度，我们提出了一种新的任务子集选择方案，确保相同的强大的统计保证MLLAM，即使有界的样本数量为任意大的任务，每个任务。
2021-05-18 cs.AI cs.LG math.OC
Probabilistic Sparse Subspace Clustering Using Delayed Association
University of Central Florida（中佛罗里达大学）
发现和聚类高维数据中的子空间是机器学习的一个基本问题，在数据挖掘、计算机视觉和模式识别中有着广泛的应用。早期的方法将问题分为两个独立的阶段，即找到相似性矩阵和找到聚类。类似于最近的一些作品，我们整合这两个步骤使用联合优化方法。我们做出了以下贡献：（i）在将点分配给子空间之前，我们估计每个点的集群分配的可靠性。我们将数据点分为两组“确定”和“不确定”，后一组的分配延迟，直到他们的子空间关联确定性提高。(ii)我们证明了延迟关联更适合于聚类具有模糊性的子空间，即当子空间相交或数据被离群值/噪声污染时。(iii)我们的实验表明，这种延迟的概率关联导致更准确的自我表示和最终的集群。所提出的方法具有较高的精度都只位于一个子空间的点，和那些在子空间的交集。(iv)我们表明，延迟关联导致计算成本的巨大减少，因为它允许增量谱聚类。
2018-08-28 cs.CV cs.LG stat.ML
Multi-view Low-rank Sparse Subspace Clustering
Rudjer Boskovic Institute（鲁杰尔·博什科维奇研究所）
大多数现有的方法解决多视图子空间聚类问题，通过构造每个视图上的亲和矩阵，然后提出如何扩展谱聚类算法来处理多视图数据。本文提出了一种多视点子空间聚类方法，通过构造视点间共享的亲和矩阵来学习联合子空间表示。依赖于低秩和稀疏约束在亲和矩阵的构建中的重要性，我们引入了在不同观点之间的协议之间进行平衡的目标，同时鼓励解决方案的稀疏性和低秩。对于每个视图，采用乘子交替方向法求解相关的低秩稀疏约束优化问题。此外，我们将我们的方法扩展到集群数据从非线性子空间中解决相应的问题，在再生核希尔伯特空间。该算法优于国家的最先进的多视角子空间聚类算法在一个合成和四个真实世界的数据集。
2017-08-29 cs.CV cs.LG math.OC
Group-Invariant Subspace Clustering
Tufts University（塔夫茨大学）；University of Washington（华盛顿大学）
在本文中，我们考虑组不变子空间聚类的问题，其中的数据被假定为来自一个联盟的组不变的子空间的向量空间，即是不变的相对于一个给定的组的行动的子空间。代数上，这样的群不变子空间也被称为子模。类似于众所周知的稀疏子空间聚类方法，其中假设数据来自子空间的并集，我们分析了一种算法，在最近的工作[1]之后，我们将其称为稀疏子模块聚类（SSmC）。该方法是基于找到组稀疏的数据点的自我表示。在本文中，我们主要推导出一般条件下，这种群不变子空间识别是可能的。特别地，我们扩展了[2]中的几何分析，并且在此过程中，我们确定了几何泛函分析中的一个相关问题。
2015-10-15 cs.IT cs.LG math.IT
Sparse Representation of a Polytope and Recovery of Sparse Signals and Low-rank Matrices
本文考虑压缩感知和仿射秩最小化在无噪和有噪情况下，并建立了尖锐的限制等距稀疏信号和低秩矩阵恢复条件。分析依赖于一个关键的技术工具，表示点的多面体的凸组合稀疏向量。该技术是基本的，但导致尖锐的结果。它示出，对于任何给定的常数$t\ge {4/3}$，在压缩感知$δ_{tk}^A < \sqrt{(t-1)/t}$保证精确恢复的所有$k$稀疏信号在无噪声的情况下，通过约束$\ell_1$最小化，并同样在仿射秩最小化$δ_{tr}^\mathcal{M}< \sqrt{(t-1)/t}$确保精确重建的所有矩阵的秩最多$r$在无噪声的情况下，通过约束核范数最小化。此外，对于任何$ε>0$，对于大的$k$，$δ_{tk}^A<\sqrt{\frac{t-1}{t}}+ε$不足以保证所有$k$稀疏信号的精确恢复。类似的结果也适用于基质回收。此外，条件$δ_{tk}^A < \sqrt{(t-1)/t}$和$δ_{tr}^\mathcal{M}< \sqrt{(t-1)/t}$也被证明是足够的，分别为稳定恢复的近似稀疏信号和低秩矩阵在噪声的情况下。
2013-10-22 cs.IT math.IT math.ST
$\ell_0$-Motivated Low-Rank Sparse Subspace Clustering
Rudjer Boskovic Institute（鲁杰尔·博什科维奇研究所）
在许多应用中，高维数据点可以很好地表示为低维子空间。为了识别子空间，重要的是捕获数据的全局和局部结构，这是通过对数据表示矩阵施加低秩和稀疏约束来实现的。在低秩稀疏子空间聚类（LRSSC）中，核范数和$\ell_1$范数用于度量秩和稀疏性。然而，核规范和$\ell_1$规范的使用导致过度惩罚问题，并且仅近似于原始问题。在本文中，我们提出了两个$\ell_0$准范数的正则化。首先，本文提出了基于多元推广极大极小凹罚的正则化方法（GMC-LRSSC），它包含了$\ell_0$拟范数正则化目标的全局极小解。之后，我们引入Schatten-0（$S_0$）和$\ell_0$正则化目标，并使用邻近平均方法（$S_0/\ell_0$ -LRSSC）近似联合解的邻近映射。由此产生的非凸优化问题求解交替方向方法的乘数与建立的收敛条件的两种算法。合成和四个真实世界的数据集上获得的结果显示GMC-LRSSC和$S_0/\ell_0$ -LRSSC的有效性相比，国家的最先进的方法。
2018-12-17 cs.CV cs.LG math.OC
Active Orthogonal Matching Pursuit for Sparse Subspace Clustering
Tsinghua University（清华大学）
稀疏子空间聚类（SSC）是一种对低维子空间中的高维数据点进行聚类的方法。然而，虽然基于$\ell_1$优化的SSC算法遭受高计算复杂性，但是SSC的其他变体，诸如基于正交匹配追踪的SSC（OMP-SSC），在追求提高时间效率时损失聚类准确性。在这封信中，我们提出了一种新的主动OMP-SSC，它提高了OMP-SSC的聚类精度，通过自适应更新数据点和随机丢弃的数据点在OMP过程中，同时仍然享受低计算复杂性的贪婪追求算法。我们提供启发式分析我们的方法，并解释这两个积极的步骤如何实现更好的连接和分离之间的权衡。对合成数据和实际数据的数值结果验证了我们的分析，并显示了所提出的主动算法的优点。
2017-08-16 cs.CV cs.IT cs.LG
