A Nonlinear Orthogonal Non-Negative Matrix Factorization Approach to Subspace Clustering
Ruder Bošković Institute（鲁杰尔·博什科维奇研究所）；ETH Zürich, Swiss Federal Institute of Technology（苏黎世联邦理工学院）
最近的理论分析表明，非负矩阵分解（NMF）和谱聚类方法之间的等价性的子空间聚类。由于NMF和它的许多变种本质上是线性的，我们引入了一个非线性NMF显式正交性，并推导出一般的基于核的正交乘法更新规则来解决子空间聚类问题。在非线性正交NMF框架下，提出了两种基于核的非负子空间聚类算法KNSC-Ncut和KNSC-Rcut，并将其与谱归一化割和比率割聚类进行了比较。我们进一步扩展了非线性正交NMF框架，并引入了一个图正则化，以获得一个因子分解，尊重非线性映射后的数据的局部几何结构。所提出的基于NMF的子空间聚类方法考虑到流形的非线性性质，以及其固有的局部几何形状，这大大提高了聚类性能相比，最近提出的几个国家的最先进的方法。
2017-09-29 cs.LG stat.ML
Groupwise Constrained Reconstruction for Subspace Clustering
School of Computer Science, Fudan University（复旦大学计算机科学学院）；University of Technology, Sydney（悉尼科技大学）
基于重构的子空间聚类方法计算样本的自重构矩阵，并将其用于谱聚类以获得最终的聚类结果。它们的成功很大程度上依赖于基本子空间是独立的假设，然而，这并不总是在子空间数量增加的应用中成立。在本文中，我们提出了一种新的基于重构的子空间聚类模型，而不做子空间独立性假设。在我们的模型中，重建矩阵的某些属性使用潜在聚类指标来明确表征，并且用于谱聚类的亲和矩阵可以直接从潜在聚类指标的后验而不是重建矩阵中构建。在合成数据集和真实数据集上的实验结果表明，该模型的性能优于现有的方法。
2012-06-18 cs.LG stat.ML
Multiple Independent Subspace Clusterings
Southwest University（西南大学）；George Mason University（乔治梅森大学）；China University of Geosciences（中国地质大学）；Beijing University Of Civil Engineering and Architecture（北京建筑大学）
多重聚类旨在发现将数据组织成聚类的各种方法。尽管取得了进展，但对于用户来说，分析和理解每个输出聚类的独特结构仍然是一个挑战。为了简化这个过程，我们考虑不同的聚类嵌入在不同的子空间，并分析嵌入子空间，以揭示每个聚类的结构。为此，我们提供了一个两阶段的方法，称为MISC（多个独立子空间插值）。在第一阶段，MISC使用独立子空间分析来寻找多个统计独立（即非冗余）的子空间，并通过最小描述长度原则来确定子空间的数量。在第二阶段，为了解释嵌入每个子空间中的样本的内在几何结构，MISC执行图正则化半非负矩阵分解来探索聚类。它还将内核技巧集成到矩阵分解中，以处理非线性可分离的聚类。在人工数据集上的实验结果表明，MISC算法可以从所寻找的独立子空间中发现不同的有趣聚类，并且在真实数据集上的性能优于其他相关和竞争性方法。
2019-05-10 cs.LG stat.ML
Subspace Clustering with Active Learning
Lancaster University（兰卡斯特大学）
子空间聚类是一个不断发展的无监督学习领域，在计算机视觉社区中非常受欢迎。可以在运动分割和人脸聚类等领域找到应用。它假设数据来自子空间的并集，并根据相应的子空间对数据进行聚类。在实践中，合理的假设是，可以获得有限数量的标签，可能是有成本的。因此，算法，可以有效地和高效地将这些信息，以改善聚类模型是可取的。在本文中，我们提出了一个主动学习框架的子空间聚类，顺序查询信息点和更新的子空间模型。所提出的框架的查询阶段依赖于从扰动理论的主成分分析的结果，以确定有影响力的和潜在的误分类点。提出了一种约束子空间聚类算法，该算法在标签数据约束条件下，单调递减目标函数。我们表明，我们提出的框架是适合的子空间聚类算法，包括迭代方法和谱方法。在合成数据集、运动分割数据集和Yale Faces数据集上的实验证明了我们提出的主动策略优于最先进的主动策略。
2019-11-11 cs.LG stat.ML
Scalable Sparse Subspace Clustering via Ordered Weighted $\ell_1$ Regression
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文的主要贡献是一种新的子空间聚类方法，该方法比现有的最先进的方法具有更高的计算效率和可扩展性。其中心思想是修改稀疏子空间聚类（SSC）中的回归技术，通过用称为有序加权$\ell_1$（OWL）最小化的泛化来替换$\ell_1$最小化，该泛化同时执行相关变量的回归和聚类。利用随机几何图理论，我们证明了OWL回归在每个子空间内选择更多的点，从而产生更好的聚类结果。这允许基于仅针对总数据集的一小部分的回归解决方案的精确子空间聚类，与SSC相比显著降低了计算复杂性。在实验中，我们发现我们的OWL方法可以实现20 $\times$到30 $\times$的合成问题和4 $\times$到8 $\times$的实际数据问题的加速比。
2018-07-10 cs.LG stat.ML
Large-Scale Sparse Subspace Clustering Using Landmarks
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
基于将每个数据点表示为数据集中所有其他点的线性组合的子空间聚类方法是流行的无监督学习技术。然而，现有的方法招致高计算复杂性的大规模数据集，因为它们需要解决一个昂贵的优化问题，并执行大型亲和矩阵的谱聚类。本文提出了一种有效的子空间聚类方法，通过选择一个小子集的输入数据称为地标。由此产生的子空间聚类方法在减少域运行在线性时间相对于原始数据的大小。对合成数据和实际数据的数值实验表明了该方法的有效性。
2019-08-02 cs.LG stat.ML
Neural Ordinary Differential Equation Model for Evolutionary Subspace Clustering and Its Applications
The University of Sydney（悉尼大学）；Fudan University（复旦大学）
神经元常微分方程（neural odular differential equation，简称neural ODE）模型由于其处理不规则时间步长的能力，在时间序列分析中受到越来越多的关注，在等间隔的时间间隔上没有观察到数据。在多维时间序列分析中，一个任务是进行进化子空间聚类，目的是根据时间数据的低维子空间结构进行聚类。现有的时间序列分析方法只能处理具有规则时间步长的时间序列，而时间序列在很多情况下是不均匀采样的，比如数据缺失。在本文中，我们提出了一个进化子空间聚类的神经ODE模型，以克服这一限制，并引入了一个新的目标函数与子空间的自我表达约束。我们证明，该方法不仅可以插值数据在任何时间步的进化子空间聚类任务，但也实现了更高的精度比其他国家的最先进的进化子空间聚类方法。合成和真实世界的数据来说明我们所提出的方法的有效性。
2021-07-22 cs.AI cs.LG
Restricted Connection Orthogonal Matching Pursuit For Sparse Subspace Clustering
Information Security Lab, Institute of Big Data Technologies,\ Graduate School, Peking University
稀疏子空间聚类（SSC）是将数据点聚类到其底层子空间的最流行的方法之一。然而，SSC可能遭受沉重的计算负担。应用于SSC的正交匹配追踪加速了计算，但代价是聚类精度的损失。本文提出了一种抗噪声的稀疏子空间聚类算法--限制连接正交匹配追踪算法（RCOMP-SSC），该算法通过限制OMP迭代过程中每个数据点的连接数来提高聚类精度并保持较低的计算时间。此外，我们开发了一个控制矩阵的框架，实现RCOMP-SCC。该框架可扩展到其他数据点选择策略。我们的分析和实验合成数据和两个真实世界的数据库（EYaleB & USPS）证明了我们的算法相比，其他聚类方法的精度和计算时间的优越性。
2019-05-01 cs.LG stat.ML
Large-Scale Subspace Clustering via k-Factorization
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
子空间聚类（SC）的目标是对低维子空间的并集中的数据进行聚类。通常，SC学习亲和矩阵，然后执行谱聚类。这两个步骤都具有很高的时间和空间复杂度，这导致难以对大型数据集进行聚类。本文提出了一种大规模子空间聚类的方法，称为k-因子子空间聚类（k-FSC）。K-FSC通过在矩阵分解模型中追求结构稀疏性，直接将数据分解为k组。因此，k-FSC避免了学习亲和矩阵和执行特征值分解，并且在大数据集上具有低（线性）时间和空间复杂度。本文从理论上证明了k-FSC模型的有效性。提出了一种保证收敛性的k-FSC优化算法。此外，k-FSC能够处理稀疏噪声、离群值和缺失数据，这些在实际应用中普遍存在。本文还为k-FSC提供了在线扩展和样本外扩展，以处理流数据和聚类任意大的数据集。在大规模真实数据集上的大量实验表明，k-FSC及其扩展优于最先进的子空间聚类方法。
2021-05-30 cs.AI cs.LG
Deep Closed-Form Subspace Clustering
SI Analytics（SI Analytics公司）
我们提出了深度闭型子空间聚类（DCFSC），一个新的非常简单的模型，用于子空间聚类与学习非线性映射。与以前的深度子空间聚类（DSC）技术相比，我们的DCFSC没有任何参数在所有的自我表达层。相反，DCFSC利用了隐式数据驱动的自表达层，该层来自封闭形式的浅层自动编码器。此外，DCFSC也没有复杂的优化方案，不像其他的子空间聚类方法。由于其极其简单，DCFSC与现有的DSC方法相比具有显着的内存相关优势，特别是在大型数据集上。实验结果表明，DCFSC模型有足够的潜力成为一个新的参考模型的子空间聚类的大规模高维数据集。
2019-08-26 cs.CV cs.LG stat.ML
Is an Affine Constraint Needed for Affine Subspace Clustering?
University of California, Berkeley（加州大学伯克利分校）；Beijing University of Posts and Telecommunications（北京邮电大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
子空间聚类方法基于将每个数据点表示为其他数据点的线性组合，在计算机视觉应用中取得了巨大的成功，如运动分割、人脸和数字聚类。在人脸聚类中，子空间是线性的，可以直接应用子空间聚类方法。在运动分割中，子空间是仿射的，并且经常对系数施加附加的仿射约束。然而，由于仿射子空间总是可以嵌入到额外一维的线性子空间中，因此不清楚仿射约束是否真的必要。本文表明，理论和经验，当周围空间的维数是高的仿射子空间的维数之和，仿射约束聚类性能的影响可以忽略不计。具体来说，我们的分析提供了条件，保证正确的仿射子空间聚类方法，有和没有仿射约束，并表明这些条件是满足高维数据。分析的基础是仿射独立子空间的概念，它不仅提供了几何上可解释的正确性条件，而且还澄清了现有的仿射子空间聚类结果之间的关系。
2020-05-08 cs.CV cs.LG stat.ML
Scalable Bottom-up Subspace Clustering using FP-Trees for High Dimensional Data
The University of Melbourne（墨尔本大学）；Deakin University（迪肯大学）；Data61, CSIRO（联邦科学与工业研究组织Data61）
子空间聚类的目的是从高维数据集中找到存在于低维子空间中的相似对象组（聚类）。它具有广泛的应用，例如分析高维传感器数据或DNA序列。然而，现有的算法在发现非不相交子空间中的聚类和扩展到大数据方面存在局限性，这影响了它们在生物信息学和物联网等领域的适用性。我们的目标是解决这样的限制，提出了一个子空间聚类算法使用自自底向上的【形】的策略。我们的算法首先在低维子空间中搜索基簇。然后，它使用这些基础集群，我们制定为一个频繁模式挖掘问题，在高维子空间中形成集群。这个公式可以有效地搜索高维子空间中的聚类，这是使用FP树完成的。所提出的算法进行评估，对传统的自自底向上的【形】的聚类算法和国家的最先进的子空间聚类算法。实验结果表明，该算法产生的聚类具有较高的准确性，并能很好地扩展到大数据量。我们还展示了算法的性能，使用现实生活中的数据，包括十个基因组数据集和一个停车场占用数据集。
2018-11-07 cs.LG stat.ML
A Novel Efficient Approach with Data-Adaptive Capability for OMP-based Sparse Subspace Clustering
Shenzhen Graduate School, Peking University（北京大学深圳研究生院）
正交匹配追踪算法在数据科学及其稀疏子空间聚类、图像处理等应用中有着重要的作用。然而，现有的基于OMP的方法缺乏数据自适应性，从而不能很好地表示数据，并可能失去准确性。本文提出了一种新的方法，以提高基于OMP的稀疏子空间聚类的数据自适应能力。在我们的方法中，参数选择过程的基础上调整的数据分布的信息表示的参数。我们的理论分析表明，参数选择过程可以有效地协调任何OMP为基础的方法，以提高聚类性能。此外，一个新的自我表达的亲和力（SEA）比率度量的定义来衡量稀疏表示转换效率的谱聚类，以获得数据分割。实验结果表明，与其他基于OMP的稀疏子空间聚类算法相比，该算法在聚类精度、SEA比和表示质量等方面均具有更好的性能，同时保持了时间效率和抗噪能力。
2019-08-30 cs.LG stat.ML
Towards Clustering-friendly Representations: Subspace Clustering via Graph Filtering
University of Electronic Science and Technology of China（电子科技大学）
在许多应用程序中，为特定任务找到合适的数据表示已被证明是至关重要的。子空间聚类的成功依赖于数据可以被分成不同子空间的假设。然而，这个简单的假设并不总是成立的，因为原始数据可能无法分成子空间。为了恢复“聚类友好”的表示，并促进后续的聚类，我们提出了一个图过滤方法，通过该方法实现了平滑的表示。具体来说，它通过应用低通滤波器来提取有用的数据表示以进行聚类，从而将图相似性注入到数据特征中。在图像和文档聚类数据集上的大量实验表明，我们的方法改进了最先进的子空间聚类技术。特别是，它与深度学习方法的性能相当，强调了简单图过滤方案在许多实际应用中的有效性。消融研究表明，图滤波可以去除噪声，保持图像中的结构，并增加类的可分性。
2021-06-18 cs.AI cs.CV cs.LG
Subspace Clustering through Sub-Clusters
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Duke University（杜克大学）
降维问题在现代数据分析中越来越重要。在本文中，我们考虑在一个高维空间作为一个低维子空间的联合建模的点的集合。特别是，我们提出了一个高度可扩展的采样算法，集群的整个数据通过第一个频谱聚类的一个小随机样本，然后分类或标记其余的样本点。关键的想法是，这个随机子集借用整个数据集的信息，聚类点的问题可以用更有效和更鲁棒的“聚类子聚类”问题来代替。我们为我们的程序提供理论保证。数值结果表明，我们优于其他国家的最先进的子空间聚类算法的精度和速度。
2020-06-11 cs.LG stat.ML
Graph Convolutional Subspace Clustering: A Robust Subspace Clustering Framework for Hyperspectral Image
China University of Geosciences（中国地质大学）
由于高光谱图像数据的复杂性，高光谱图像聚类是一项具有挑战性的任务。子空间聚类已被证明是强大的利用数据点之间的内在关系。传统的子空间聚类方法在HSI聚类中表现出了令人瞩目的性能，但往往忽略了数据间固有的结构信息。在本文中，我们重新审视子空间聚类与图卷积，并提出了一种新的子空间聚类框架称为图卷积子空间聚类（GCSC）的强大的HSI聚类。具体来说，该框架将数据的自我表达属性重新转换到非欧几里德域，从而产生更鲁棒的图嵌入字典。我们表明，传统的子空间聚类模型是我们的框架与欧几里德数据的特殊形式。在此基础上，利用Frobenius范数提出了两种新的子空间聚类模型，即高效GCSC（Efficient GCSC）和高效核GCSC（Efficient Kernel GCSC）。这两个模型都有一个全局最优的封闭形式的解决方案，这使得他们更容易实现，训练，并在实践中应用。在三个流行的HSI数据集上进行的大量实验表明，EGCSC和EKGCSC可以实现最先进的聚类性能，并显着优于许多现有的方法具有显着的利润率。
2020-04-22 cs.CV cs.LG
Learning Transformations for Clustering and Classification
Duke University（杜克大学）
提出了一种用于子空间聚类和分类的低秩变换学习框架。许多高维数据，如人脸图像和运动序列，近似地位于低维子空间的并集中。相应的子空间聚类问题已经在文献中得到了广泛的研究，以将这些高维数据划分为与其底层低维子空间相对应的聚类。然而，低维的内在结构经常被现实世界的观测所破坏，因为它们可能被错误破坏或偏离理想模型。我们建议通过学习子空间上的线性变换，使用矩阵秩，通过其凸代理核范数，作为优化标准来解决这个问题。学习的线性变换恢复来自相同子空间的数据的低秩结构，并且同时强制来自不同子空间的数据的最大分离结构。通过这种方式，我们减少了子空间内的变化，并增加了子空间之间的分离，以实现更鲁棒的子空间聚类。该学习鲁棒子空间聚类框架显著提高了现有子空间聚类方法的性能。这里提出的基本理论结果有助于进一步支持基本框架。为了利用变换后的子空间的低秩结构，我们进一步引入了一种快速子空间聚类技术，该技术有效地结合了鲁棒PCA和稀疏建模。当类标签出现在训练阶段时，我们发现这种低秩变换框架也显著提高了分类性能。使用公共数据集进行的大量实验表明，该方法显着优于最先进的子空间聚类和分类方法。
2014-03-09 cs.CV cs.LG stat.ML
Three-Stage Subspace Clustering Framework with Graph-Based Transformation and Optimization
Peking University（北京大学）；Institute of Big Data Technologies（大数据技术研究院）
子空间聚类（SC）是指将高维数据聚类到一个低维子空间的并集中的问题。基于谱聚类，国家的最先进的方法解决供应链问题的两阶段框架内。在第一阶段中，数据表示技术被应用于从原始数据绘制亲和矩阵。在第二阶段，谱聚类直接应用于亲和矩阵，使数据可以分组到不同的子空间。然而，在第一阶段获得的亲和矩阵通常无法揭示数据点之间的真实关系，这导致不准确的聚类结果。在本文中，我们提出了一个通用的三阶段子空间聚类框架（3S-SC）。在数据表示和谱聚类之间增加了基于图的转换和优化（GBTO）。在第一阶段中获得的亲和矩阵，然后它通过第二阶段，在那里提出的GBTO被应用于生成一个重建的亲和矩阵与更真实的数据点之间的相似性。在GBTO之后应用谱聚类，这是第三阶段。我们通过理论分析验证了我们的3S-SC框架与GBTO。在合成数据和真实世界的手写数字和人脸数据集上的实验证明了所提出的3S-SC框架在提高基于$\ell_0$、$\ell_1$、$\ell_2$或核范数正则化的SC方法的连通性和准确性方面的通用性。
2019-05-02 cs.LG stat.ML
Noisy $\ell^{0}$-Sparse Subspace Clustering on Dimensionality Reduced Data
Baidu Research（百度研究院）；Arizona State University（亚利桑那州立大学）
研究表明，基于$\ell^{0}$范数的稀疏子空间聚类方法（$\ell^{0}$-SSC）~ \citep{YangFJYH16-L0SSC-ijcv}比稀疏子空间聚类方法（SSC）~ $\ell^{1}$更有效.然而，$\ell^{0}$ -SSC的理论分析仅限于完全位于子空间中的干净数据。真实数据经常受到噪声的影响，并且它们可能位于子空间附近。在本文中，我们表明，噪声$\ell^{0}$ -SSC的优化问题的最佳解决方案实现子空间检测性能（SDP），一个关键因素，从不同的子空间的数据分离，在确定性和半随机模型。我们的结果首次从理论上保证了噪声$\ell^{0}$ -SSC在噪声数据上的SDP的正确性，从而揭示了噪声$\ell^{0}$ -SSC在对子空间亲和度的限制条件少得多方面的优势.为了提高噪声$\ell^{0}$ -SSC的效率，我们提出了Noisy-DR- $\ell^{0}$ -SSC，它可证明地恢复降维数据上的子空间。Noisy-DR- $\ell^{0}$ -SSC首先通过随机投影将数据投影到低维空间，然后对投影数据执行Noisy $\ell^{0}$ -SSC以提高效率。实验结果证明了Noisy-DR- $\ell^{0}$ -SSC的有效性。
2022-06-22 cs.LG stat.ML
Supervised Enhanced Soft Subspace Clustering (SESSC) for TSK Fuzzy Classifiers
Huazhong University of Science and Technology（华中科技大学）；Shandong University of Finance and Economics（山东财经大学）
基于模糊c-均值的聚类算法经常用于TSK模糊分类器的先验参数估计。从每个集群初始化一个规则。然而，这些聚类算法大多是无监督的，这浪费了宝贵的标签信息的训练数据。提出了一种有监督的增强软子空间聚类算法（SESSC），该算法在聚类过程中同时考虑了类内紧致度、类间分离度和标签信息。它可以有效地处理高维数据，可以单独作为分类器使用，也可以集成到TSK模糊分类器中，进一步提高其性能。在不同应用领域的九个UCI数据集上的实验表明，基于SESSC的初始化方法优于其他聚类方法，特别是当规则数量较少时。
2020-02-27 cs.LG stat.ML
Beyond Linear Subspace Clustering: A Comparative Study of Nonlinear Manifold Clustering Algorithms
Université de Mons（蒙斯大学）
子空间聚类是一种重要的无监督聚类方法。它基于高维数据点近似分布在几个低维线性子空间的假设。大多数著名的子空间聚类算法依赖于将数据点表示为其他数据点的线性组合，这被称为自表达表示。为了克服限制性的线性假设，许多非线性方法被提出来扩展成功的子空间聚类方法的非线性流形的并集上的数据。在这项比较研究中，我们提供了一个全面的概述非线性子空间聚类方法在过去十年中提出的。我们引入了一个新的分类法来分类的国家的最先进的方法分为三类，即局部保持，基于核，和神经网络为基础。每个类别中的主要代表性算法进行了广泛的比较精心设计的合成和真实世界的数据集。对这些方法的详细分析揭示了该领域潜在的研究方向和未解决的挑战。
2021-03-19 cs.AI cs.CV cs.LG
A Theoretical Analysis of Noisy Sparse Subspace Clustering on Dimensionality-Reduced Data
Carnegie Mellon University（卡内基梅隆大学）
子空间聚类是将未标记的数据点划分为多个簇的问题，使得一个簇内的数据点近似位于低维线性子空间上。在许多实际应用中，由于测量、计算或隐私等方面的限制，待聚类数据点的维数被压缩。本文研究了一种流行的子空间聚类算法稀疏子空间聚类（SSC）的理论性质，建立了稀疏子空间聚类在降维数据上的形式化成功条件。我们的分析适用于最一般的完全确定性模型，其中每个子空间内的底层子空间和数据点都是确定性定位的，并且还适用于各种降维技术（例如，高斯随机投影，均匀子采样，草图），落入子空间嵌入框架（Meng & Mahoney，2013; Avron等人，2014年）。最后，我们将我们的分析应用于差分私有SSC算法，并建立了所提出的方法的隐私和效用保证。
2016-10-24 cs.LG stat.ML
Robust Subspace Clustering via Tighter Rank Approximation
Southern Illinois University（南伊利诺伊大学）
矩阵秩最小化问题一般是NP-难的。核范数在最近的许多研究中被用来代替秩函数。然而，核范数近似将所有奇异值加在一起，并且近似误差可能在很大程度上取决于奇异值的大小。这可能会限制其处理许多实际问题的能力。在本文中，反正切函数被用来作为一个更紧密的逼近秩函数。我们将其用于具有挑战性的子空间聚类问题。对于这个非凸最小化问题，我们开发了一种有效的优化程序的基础上的一种增广拉格朗日乘子（ALM）方法。大量的人脸聚类和运动分割实验表明，该方法是有效的秩近似。
2015-10-30 cs.AI cs.CV cs.LG
Subspace Clustering of Subspaces: Unifying Canonical Correlation Analysis and Subspace Clustering
Department of Electrical and Computer Engineering, University of Virginia（弗吉尼亚大学电气与计算机工程系）
本文提出SCoS框架，将矩阵样本按列空间聚类，通过三阶张量BTD联合估计聚类成员与部分共享子空间，并给出可辨识性结果和可扩展算法，高光谱实验显示其在高噪声下更准确鲁棒。
2025-09-26 cs.LG eess.SP
Subspace clustering without knowing the number of clusters: A parameter free approach
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
子空间聚类是无监督机器学习的基本任务之一，它是对来自子空间并集的高维数据进行聚类的任务。大多数现有的算法，这项任务需要先验知识的集群的数量，以及一些额外的参数，需要设置或调整的先验，根据要聚类的数据类型。在这项工作中，提出了一种无参数的子空间聚类方法，其中数据点被聚类的基础上的统计分布的差异的角度由一个子空间内的数据点和那些属于不同的子空间的点对向的角度。给定初始的细聚类，所提出的算法合并的集群，直到获得最终的聚类。与许多现有方法不同，这不需要先验的聚类数。此外，所提出的算法不涉及使用一个未知的参数或调整。%通过交叉验证。本文还讨论了一种无参数的初始聚类方法，使整个子空间聚类过程无参数。在合成数据集和真实数据集上，将该算法与现有的最新技术的性能进行了比较，表明了该方法的重要性。
2020-06-20 cs.LG eess.SP stat.ML
Multi-Level Representation Learning for Deep Subspace Clustering
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文提出了一种新的深度子空间聚类方法，该方法使用卷积自编码器将输入图像转换为位于线性子空间的并集上的新表示。我们工作的第一个贡献是在编码器层和它们对应的解码器层之间插入多个全连接的线性层，以促进学习更有利的子空间聚类表示。这些连接层通过组合低级和高级信息来促进特征学习过程，以在编码器的不同级别生成多组自我表达和信息表示。此外，我们引入了一种新的损失最小化问题，利用初始聚类的样本，有效地融合多层次的表示和恢复的基础子空间更准确。然后通过迭代方案使损失函数最小化，该迭代方案交替地更新网络参数并产生样本的新聚类。四个真实世界的数据集上的实验表明，我们的方法表现出优越的性能相比，国家的最先进的方法对大多数的子空间聚类问题。
2020-01-19 cs.CV cs.LG stat.ML
Subspace Clustering of Very Sparse High-Dimensional Data
STOR-i Centre for Doctoral Training Lancaster University（兰卡斯特大学STOR-i博士培训中心）；Lancaster University（兰卡斯特大学）；Department of Mathematics and Statistics Lancaster University（兰卡斯特大学数学与统计系）；Department of Management Science Lancaster University（兰卡斯特大学管理科学系）；Data Science Campus Office for National Statistics（英国国家统计局数据科学园区办公室）；Lancaster, UK（英国兰卡斯特）；Newport, UK（英国纽波特）
在本文中，我们考虑使用子空间聚类的非常短的文本的聚类集合的问题。这个问题出现在许多应用中，例如产品分类，欺诈检测和情感分析。主要的挑战在于，短文本的矢量表示是高维的，因为语料库中有大量的独特术语，并且非常稀疏，因为每个文本包含非常少的单词，没有重复。我们提出了一个新的，简单的子空间聚类算法，依赖于线性代数聚类这样的数据集。从美国亚马逊网站获得的产品名称识别产品类别的实验结果表明，该算法可以竞争国家的最先进的聚类算法。
2019-01-25 cs.LG stat.ML
Group-Invariant Subspace Clustering
Tufts University（塔夫茨大学）；University of Washington（华盛顿大学）
在本文中，我们考虑组不变子空间聚类的问题，其中的数据被假定为来自一个联盟的组不变的子空间的向量空间，即是不变的相对于一个给定的组的行动的子空间。代数上，这样的群不变子空间也被称为子模。类似于众所周知的稀疏子空间聚类方法，其中假设数据来自子空间的并集，我们分析了一种算法，在最近的工作[1]之后，我们将其称为稀疏子模块聚类（SSmC）。该方法是基于找到组稀疏的数据点的自我表示。在本文中，我们主要推导出一般条件下，这种群不变子空间识别是可能的。特别地，我们扩展了[2]中的几何分析，并且在此过程中，我们确定了几何泛函分析中的一个相关问题。
2015-10-15 cs.IT cs.LG math.IT
Self-Supervised Information Bottleneck for Deep Multi-View Subspace Clustering
Beijing Institute of Technology（北京理工大学）
本文从信息论的角度探讨了深度多视点子空间聚类框架问题。我们扩展了传统的信息瓶颈原理，以自监督的方式学习不同视图之间的共同信息，并相应地建立了一个新的框架称为自监督信息瓶颈的多视图子空间聚类（SIB-MSC）。继承了信息瓶颈的优点，SIB-MSC可以为每个视图学习潜在空间，通过从视图本身去除多余的信息，同时为其他视图的潜在表示保留足够的信息，来捕获不同视图的潜在表示之间的公共信息。实际上，每个视图的潜在表示为训练其他视图的潜在表示提供了一种自监督信号。此外，SIB-MSC尝试学习其他潜在空间为每个视图捕捉视图特定的信息，通过引入互信息为基础的正则化条款，以便进一步提高多视图子空间聚类的性能。据我们所知，这是第一个工作，探讨多视图子空间聚类的信息瓶颈。对真实世界多视图数据的大量实验表明，我们的方法比相关的国家的最先进的方法取得了优越的性能。
2022-04-29 cs.AI cs.LG
Subspace Clustering via Thresholding and Spectral Clustering
ETH Zurich（苏黎世联邦理工学院）
我们考虑的问题，聚类一组高维数据点到低维线性子空间的集合。子空间的数量、维度和方向都是未知的。我们提出了一个简单的和低复杂度的聚类算法的基础上阈值的数据点之间的相关性，其次是谱聚类。概率性能分析表明，该算法成功，即使当子空间相交时，当子空间的维度在环境维度中线性缩放（最多为对数因子）时。此外，我们证明了该算法也成功的数据点，受到擦除的擦除缩放（最多的对数因子）的数量在环境维度的线性。最后，我们提出了一个简单的方案，可证明检测离群值。
2013-03-15 cs.IT cs.LG math.IT
Unsupervised Feature Selection based on Adaptive Similarity Learning and Subspace Clustering
University of Tehran（德黑兰大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
特征选择方法对提高数据的可读性和降低学习算法的复杂度具有重要作用。近年来，由于在大数据集上的标记任务繁重，基于无监督观点的特征选择问题得到了各种各样的研究。本文提出了一种基于子空间聚类的无监督特征选择新方法，通过对样本间低维子空间的表示学习来保持样本间的相似性。一个自我表达的模型是采用隐式学习的聚类相似性的自适应方式。该方法不仅通过子空间聚类来保持样本的相似性，而且还基于正则化回归模型来捕获判别信息。在基准数据集上的实验结果表明，与现有的方法相比，我们的方法的有效性与所提出的方法的收敛性分析。
2019-12-10 cs.LG stat.ML
Scalable Sparse Subspace Clustering by Orthogonal Matching Pursuit
Johns Hopkins University（约翰斯·霍普金斯大学）
基于$\ell_1$、$\ell_2$或核范数正则化的子空间聚类方法由于其简单性、理论保证和经验成功而变得非常流行。然而，正则化子的选择可以极大地影响理论和实践。例如，保证$\ell_1$正则化给出子空间保持亲和性（即，在来自不同子空间的点之间没有连接）在广泛的条件下（例如，任意子空间和损坏的数据）。然而，它需要解决一个大规模的凸优化问题。另一方面，$\ell_2$和核范数正则化提供了有效的封闭形式解，但是需要非常强的假设来保证子空间保持亲和性，例如，独立的子空间和未损坏的数据。本文研究了一种基于正交匹配追踪的子空间聚类方法。我们表明，该方法是计算效率和保证在广泛的条件下，给一个子空间保持亲和力。在合成数据上的实验验证了理论分析的正确性，并在手写数字和人脸聚类中的应用表明，该方法在准确率和效率之间取得了最佳的平衡。
2016-05-05 cs.CV cs.LG stat.ML
Tensor Laplacian Regularized Low-Rank Representation for Non-uniformly Distributed Data Subspace Clustering
低秩表示（Low-Rank Representation，LRR）在子空间聚类中由于不能考虑数据结构的非线性和观测值在环境空间中的非均匀分布，而严重地损失了数据点的局部性信息。因此，最先进的LRR模型丢失了观测密度的信息，因为它们考虑了恒定数量的相邻邻居。因此，这降低了在这种情况下的子空间聚类精度。为了应付不足，在本文中，我们建议考虑一个超图模型，以方便有一个可变数量的相邻节点，并将数据的局部信息。子空间数目的稀疏性也被考虑在内。为此，基于一组正则化项定义优化问题，并通过开发基于张量拉普拉斯的算法来解决。在人工和真实数据集上的大量实验表明，与现有方法相比，该方法在子空间聚类中具有更高的准确性和精度。该方法的突出表现在数据的固有结构如非线性、几何重叠和离群值的存在下更加明显。
2021-03-06 cs.LG stat.ML
Fusion Subspace Clustering: Full and Incomplete Data
Georgia State University（佐治亚州立大学）
现代推理和学习通常取决于识别近似大规模数据的低维结构。子空间聚类通过线性子空间的联合来实现这一点。然而，在当代应用程序中，数据越来越经常是不完整的，使标准（全数据）方法不适用。另一方面，现有的不完全数据方法存在主要缺点，例如提升已经高维的问题，或者需要超多项式数量的样本。基于此，我们引入了一种新的子空间聚类算法的启发融合处罚。其主要思想是将每个数据永久地分配给它自己的子空间，并最小化所有数据的子空间之间的距离，以便将同一簇的子空间融合在一起。我们的方法是全新的，完整和缺失的数据，与其他方法不同，它直接允许噪声，它不需要提升，它允许低，高，甚至满秩数据，它接近最佳（信息理论）采样率，它不依赖于其他方法，如低秩矩阵完成处理缺失的数据。此外，我们在真实数据和合成数据上的大量实验表明，我们的方法在完整数据的情况下可以达到最先进的水平，并且在数据缺失的情况下效果更好。
2018-08-02 cs.LG stat.ML
Fusion Subspace Clustering for Incomplete Data
Georgia State University（佐治亚州立大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文介绍了{ \em融合子空间聚类}，一种新的方法来学习低维结构，近似大规模但高度不完整的数据。其主要思想是将每个数据分配给自己的子空间，并最小化所有数据的子空间之间的距离，以便同一簇的子空间{ \em fused}在一起。我们的方法允许低，高，甚至满秩的数据，它直接占噪声，其样本复杂性接近信息理论的限制。此外，我们的方法提供了一个自然的模型选择{ \em clusterpath}，和一个直接完成的方法。我们给出了收敛保证，分析了计算复杂性，并通过对真实数据和合成数据的大量实验表明，我们的方法在完整数据的情况下可以达到最先进的水平，并且在数据丢失的情况下效果更好。
2022-05-22 cs.LG stat.ML
Subspace Clustering using Ensembles of $K$-Subspaces
Portland State University（波特兰州立大学）；University of Pennsylvania（宾夕法尼亚大学）；University of California, Berkeley（加州大学伯克利分校）；University of Michigan（密歇根大学）
子空间聚类是对低维线性子空间的并集附近的点进行无监督分组。直接基于这些数据的几何特性的算法往往要么提供较差的经验性能，缺乏理论保证，要么严重依赖于它们的初始化。我们提出了一种新的几何方法的子空间聚类问题，利用合奏的K-子空间（KSS）算法通过证据积累聚类框架。我们的算法，被称为合奏K-子空间（EKSS），形成一个共关联矩阵，其第（i，j）项是点i和j被聚类在一起的随机初始化的KSS的几个运行的次数。我们证明一般恢复保证任何算法，形成一个亲和矩阵的条目接近成对绝对内积的单调变换。然后，我们表明，EKSS的一个具体实例的结果在这种形式的条目的亲和矩阵，因此我们提出的算法可以证明恢复子空间在类似的条件下，以国家的最先进的算法。据我们所知，这一发现是证据积累聚类和KSS变体的第一个恢复保证。我们显示合成数据，我们的方法表现良好，在传统的具有挑战性的设置的子空间与大的交集，子空间与小的主角度，和嘈杂的数据。最后，我们评估我们的算法在六个常见的基准数据集，并表明，与现有的方法不同，EKSS实现了出色的经验性能时，每个子空间都有一个小的和大量的点。
2021-01-06 cs.CV cs.LG stat.ML
Filtrated Spectral Algebraic Subspace Clustering
Johns Hopkins University（约翰斯·霍普金斯大学）
代数子空间聚类（ASC）是一种基于多项式拟合和微分的简单而优雅的方法，用于对从任意子空间并集中提取的无噪声数据进行聚类。然而，在实践中，ASC限于等维子空间，因为通过代数方法估计的子空间维数是敏感的噪声。本文提出了一种新的ASC算法，可以处理从任意维的子空间中提取的噪声数据。该算法的核心思想是：（1）在每个点上构造一个包含通过该点的子空间的递减子空间序列;（2）利用该序列中任何一点到每个子空间的距离构造一个子空间聚类亲和度，该亲和度在理论和实践上都优于其他亲和度。在Hopkins 155数据集上的实验表明，该方法相对于稀疏和低秩子空间聚类方法具有优越性。
2015-10-15 cs.CV cs.LG
Stochastic Sparse Subspace Clustering
Beijing University of Posts and Telecommunications（北京邮电大学）；University of California, Berkeley（加州大学伯克利分校）
最先进的子空间聚类方法是基于自表达模型，它将每个数据点表示为其他数据点的线性组合。通过强制这种表示是稀疏的，稀疏子空间聚类保证产生子空间保持数据亲和力，其中两个点只有在它们来自相同子空间时才连接。然而，另一方面，来自相同子空间的数据点可能没有良好连接，导致过度分割的问题。我们引入dropout来解决过度分割的问题，这是基于随机丢弃自表达模型中的数据点。特别地，我们证明了dropout等价于在表示系数上增加一个平方$\ell_2$范数正则化，从而诱导出更密集的解。然后，我们将优化问题重新表述为一组小规模子问题上的共识问题。这导致了一个可扩展的和灵活的稀疏子空间聚类方法，称为随机稀疏子空间聚类，它可以有效地处理大规模的数据集。在合成数据和真实世界数据集上的大量实验验证了我们的建议的效率和有效性。
2020-05-04 cs.CV cs.LG stat.ML
Multilinear Subspace Clustering
Tufts University（塔夫茨大学）
在本文中，我们提出了一个新的模型和算法的无监督聚类的2-D数据，如图像。我们假设数据来自一个多线性子空间的联合（UOMS）模型，这是一个特定的结构化的情况下，许多研究子空间的联合（UOS）模型。在此模型下的分割，我们开发了多线性子空间聚类（MSC）算法，并评估其性能的YaleB和Olivietti图像数据集。我们表明，MSC是具有很强的竞争力，现有的算法采用UOS模型的聚类性能，同时享受改善计算复杂性。
2015-12-21 cs.CV cs.IT cs.LG
On Deterministic Conditions for Subspace Clustering under Missing Data
Purdue University（普渡大学）；Tufts University（塔夫茨大学）
在本文中，我们提出了确定性条件下的稀疏子空间聚类（SSC）的成功缺失的数据，当数据被假定为来自一个联盟的子空间（UoS）模型。我们考虑两种算法，这是SSC的变体与条目式零填充，不同的优化问题，用于找到亲和矩阵谱聚类。对于这两种算法，我们提供了确定性的条件，任何模式的缺失数据，这样可以实现完美的聚类。我们提供了大量的模拟结果，聚类以及在缺失条目的数据完成，根据UoS模型。我们的实验结果表明，在对比完整的数据情况下，准确的聚类并不意味着准确的子空间识别和完成，表明这些问题的相对硬度的自然顺序。
2016-07-11 cs.IT cs.LG math.IT
ALPCAHUS: Subspace Clustering for Heteroscedastic Data
University of Michigan（密歇根大学）
ALPCAHUS是一种用于异方差数据的子空间聚类方法，通过估计样本级噪声方差来改进子空间基的估计，提升聚类效果。
2026-09-22 cs.LG eess.SP stat.ML
Accelerated Sparse Subspace Clustering
University of Texas at Austin（德克萨斯大学奥斯汀分校）
用于稀疏子空间聚类的现有技术算法对相似性矩阵执行谱聚类，该相似性矩阵通常通过使用基追踪（BP）或正交匹配追踪（OMP）将每个数据点表示为其他点的稀疏组合来获得。基于BP的方法在实践中往往令人望而却步，而基于OMP的方案的性能并不令人满意，特别是在数据点高度相似的情况下。在本文中，我们提出了一种新的算法，利用正交最小二乘的加速变量，有效地找到底层的子空间。我们表明，在一定条件下，该算法返回一个子空间保持的解决方案。仿真结果表明，所提出的方法与基于BP的方法相比，在运行时间方面，而显着更准确的基于OMP的计划。
2017-10-31 cs.CV cs.LG stat.ML
Multi-view Low-rank Sparse Subspace Clustering
Rudjer Boskovic Institute（鲁杰尔·博什科维奇研究所）
大多数现有的方法解决多视图子空间聚类问题，通过构造每个视图上的亲和矩阵，然后提出如何扩展谱聚类算法来处理多视图数据。本文提出了一种多视点子空间聚类方法，通过构造视点间共享的亲和矩阵来学习联合子空间表示。依赖于低秩和稀疏约束在亲和矩阵的构建中的重要性，我们引入了在不同观点之间的协议之间进行平衡的目标，同时鼓励解决方案的稀疏性和低秩。对于每个视图，采用乘子交替方向法求解相关的低秩稀疏约束优化问题。此外，我们将我们的方法扩展到集群数据从非线性子空间中解决相应的问题，在再生核希尔伯特空间。该算法优于国家的最先进的多视角子空间聚类算法在一个合成和四个真实世界的数据集。
2017-08-29 cs.CV cs.LG math.OC
Innovation Pursuit: A New Approach to Subspace Clustering
University of Central Florida（中佛罗里达大学）
在子空间聚类中，属于子空间的并集的一组数据点被分配到它们各自的子空间的成员资格。本文提出了一种新的方法，称为创新追求（iPursuit）的子空间聚类问题，使用一个新的几何思想，其中子空间被确定基于它们的相对新颖性。我们提出了两个框架，其中的创新追求的想法是用来区分子空间。第一个框架的基础是一个迭代法，它通过求解一系列简单的线性优化问题来连续地找到子空间，每个问题都在数据的跨度中搜索一个创新方向，该方向潜在地正交于除了在算法的一个步骤中要识别的子空间之外的所有子空间。提供了详细的数学分析，建立了iPursuit正确聚类数据的充分条件。该方法可以证明产生精确的聚类，即使子空间有显着的交集。它示出的迭代方法的复杂性尺度仅线性的数据点和子空间的数量，和二次的子空间的维度。第二个框架集成iPursuit与谱聚类产生一个新的变种的基于谱聚类的算法。真实数据和合成数据的数值模拟表明，iPursuit通常可以优于最先进的子空间聚类算法，尤其是对于具有重要交叉点的子空间，并且它显着改善了基于子空间分割的人脸聚类的最先进结果。
2017-11-26 cs.CV cs.IR cs.IT
Probabilistic Sparse Subspace Clustering Using Delayed Association
University of Central Florida（中佛罗里达大学）
发现和聚类高维数据中的子空间是机器学习的一个基本问题，在数据挖掘、计算机视觉和模式识别中有着广泛的应用。早期的方法将问题分为两个独立的阶段，即找到相似性矩阵和找到聚类。类似于最近的一些作品，我们整合这两个步骤使用联合优化方法。我们做出了以下贡献：（i）在将点分配给子空间之前，我们估计每个点的集群分配的可靠性。我们将数据点分为两组“确定”和“不确定”，后一组的分配延迟，直到他们的子空间关联确定性提高。(ii)我们证明了延迟关联更适合于聚类具有模糊性的子空间，即当子空间相交或数据被离群值/噪声污染时。(iii)我们的实验表明，这种延迟的概率关联导致更准确的自我表示和最终的集群。所提出的方法具有较高的精度都只位于一个子空间的点，和那些在子空间的交集。(iv)我们表明，延迟关联导致计算成本的巨大减少，因为它允许增量谱聚类。
2018-08-28 cs.CV cs.LG stat.ML
Greedy Subspace Clustering
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们考虑子空间聚类问题：给定位于或靠近许多低维线性子空间的并集的点，恢复子空间。为此，首先识别接近相同子空间的点的集合，并使用这些集合来估计子空间。由于聚类的几何结构（线性子空间）阻止了基于距离的一般方法（如K-means）的适当性能，因此已经提出了许多特定于模型的方法。在本文中，我们提供了新的简单而有效的算法，这个问题。我们的统计分析表明，该算法是保证准确（完美）的聚类性能在一定条件下的点的数量和子空间之间的亲和力。这些条件比标准统计文献中考虑的条件弱。对标准子空间并模型生成的合成数据的实验结果证明了我们的理论。我们还表明，我们的算法在现实世界的应用，如运动分割和人脸聚类，具有更简单的实现和更低的计算成本的最先进的算法竞争。
2014-10-31 cs.IT cs.LG math.IT
Feature Concatenation Multi-view Subspace Clustering
School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院）；School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院）
多视图聚类是一种基于多视图数据的学习范式。由于不同视图的统计特性是不同的，甚至是不兼容的，很少有方法直接实现基于连接的功能的多视图聚类。但是，要素串联是组合多视图数据的自然方法。为此，本文提出了一种新的多视点子空间聚类方法--特征连接多视点子空间聚类（FCMSC），该方法通过挖掘多视点数据的一致性信息来提高聚类性能。具体地说，首先将多视图数据连接成一个联合表示，然后将$l_{2,1}$ -范数集成到目标函数中，以处理多视图的样本特定和簇特定损坏。此外，本文还提出了一种图正则化的FCMSC，以挖掘多视图数据的一致性信息和互补信息进行聚类。值得注意的是，获得的系数矩阵并不是通过简单地将低秩表示（LRR）直接应用于级联特征来导出的。最后，设计了一种基于增广拉格朗日乘子（ALM）的有效算法来优化目标函数。六个真实世界的数据集上的综合实验说明了所提出的方法优于几个国家的最先进的多视图聚类方法。
2021-03-24 cs.LG stat.ML
Constrained Bilinear Factorization Multi-view Subspace Clustering
School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院）；School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）
多视图聚类是一个重要而基本的问题。已有的多视点子空间聚类方法大多假设所有视点共享同一个系数矩阵。然而，在这种假设下，多视图数据的底层信息没有得到充分利用，因为不同视图的系数矩阵应该具有相同的聚类属性，而不是在多个视图之间是均匀的。为此，本文提出了一种新的约束双线性分解多视图子空间聚类（CBF-MSC）方法。具体地说，对所有系数矩阵进行带正交约束和低秩约束的双线性分解，使它们具有相同的迹范数而不是等价的，从而更充分地挖掘多视图数据的一致性信息.最后，一个增广拉格朗日乘子（ALM）为基础的算法来优化目标函数。在九个基准数据集上进行的综合实验验证了所提出的方法与几种最先进的方法相比的有效性和竞争力。
2021-03-24 cs.LG stat.ML
Latent Complete Row Space Recovery for Multi-view Subspace Clustering
National University of Defense Technology（国防科技大学）；Shanxi University（山西大学）
多视点子空间聚类在图像处理、视频监控等领域得到了广泛的应用，并引起了越来越多的关注。大多数现有的方法学习特定于视图的自表示矩阵，并从多个视图中构造一个组合的亲和矩阵。亲和度构造过程耗时长，并且不能保证组合亲和度矩阵反映整个真实子空间结构。为了克服这些问题，潜在的完全行空间恢复（LCRSR）方法被提出。具体地说，LCRSR是基于这样的假设，即多视图观测是从底层的潜在表示生成的，该潜在表示进一步假设收集从多个子空间精确提取的真实样本。LCRSR能够恢复潜在表示的行空间，它不仅携带来自多个视图的完整信息，而且在一定条件下确定子空间成员。LCRSR不涉及图的构造过程，并且使用高效且收敛的算法来求解，从而更具有可扩展性以适应大规模数据集。通过对不同类型的多视点数据进行聚类，验证了LCRSR的有效性和效率，并在背景减除任务中得到了说明。
2019-12-16 cs.LG stat.ML
Subspace Clustering via Optimal Direction Search
University of Central Florida（中佛罗里达大学）
这封信提出了一种新的基于谱聚类的子空间聚类问题的方法。支持所提出的方法是一个凸规划的最佳方向搜索，它为每个数据点d找到一个最佳方向的跨度的数据，具有最小的投影在其他数据点和非零投影d。随后利用所获得的方向来识别每个数据点的邻域集。提出了一种基于乘子框架的交替方向法，有效地求解最优方向。所提出的方法被证明是显着优于现有的子空间聚类方法，特别是对于笨拙的情况下，涉及高水平的噪声和封闭的子空间，并产生国家的最先进的结果，人脸聚类问题，使用子空间分割。
2017-11-26 cs.CV cs.IR cs.LG
Learnable Subspace Clustering
Nanjing University of Science and Technology（南京理工大学）；Brandeis University（布兰迪斯大学）；Adobe Research（Adobe研究院）；Northeastern University（东北大学）
研究了百万数据点的大规模子空间聚类问题。许多流行的子空间聚类方法不能直接处理LSSC问题，尽管它们被认为是小规模数据点的最先进方法。一个根本原因是这些方法往往选择所有的数据点作为一个大字典来构建庞大的编码模型，这导致了很高的时间和空间复杂度。在本文中，我们开发了一个可学习的子空间聚类范式，有效地解决LSSC问题。其关键思想是学习一个参数函数来将高维子空间划分为它们的底层低维子空间，而不是经典编码模型的昂贵成本。此外，我们提出了一个统一的鲁棒预测编码机（RPCM）学习的参数函数，它可以解决的交替最小化算法。此外，我们提供了一个有界收缩分析的参数函数。据我们所知，本文是第一个工作，有效地聚类数以百万计的数据点之间的子空间聚类方法。百万级数据集上的实验验证了我们的范式在效率和有效性方面优于相关的最先进的方法。
2020-04-09 cs.CV cs.LG stat.ML
A Critique of Self-Expressive Deep Subspace Clustering
Mathematical Institute for Data Science（数据科学数学研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of California, Berkeley（加州大学伯克利分校）
子空间聚类是一种无监督聚类技术，旨在对线性子空间的并集上支持的数据进行聚类，每个子空间定义一个维度低于周围空间的聚类。这个问题的许多现有公式是基于利用线性子空间的自表达属性，其中子空间内的任何点都可以表示为子空间内其他点的线性组合。为了将这种方法扩展到非线性流形的并集上支持的数据，许多研究已经提出使用神经网络来学习原始数据的嵌入，该神经网络通过嵌入空间中的数据上的自表达损失函数来正则化，以鼓励嵌入空间中的数据上的线性子空间的并集。在这里，我们表明，有一些潜在的缺陷，这种方法还没有得到充分解决，在以前的工作。特别是，我们表明模型的制定往往是不适定的，因为它可以导致退化的嵌入的数据，这不需要对应于一个联盟的子空间在所有和不适合聚类。我们通过实验验证了我们的理论结果，并重复了文献中报道的先前实验，我们得出结论，先前声称的性能优势的很大一部分可以归因于ad-hoc后处理步骤，而不是深子空间聚类模型。
2021-03-19 cs.AI cs.CV cs.LG
Multi-view Subspace Clustering Networks with Local and Global Graph Information
School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院）
本研究探讨多视角子空间聚类问题，其目的是探索从不同领域或测量收集的数据的潜在分组结构。在实际应用中，数据并不总是符合线性子空间模型，现有的基于浅层线性子空间模型的多视点子空间聚类方法在实际应用中往往会失败。此外，现有的多视图子空间聚类方法往往忽略了多视图数据的底层图信息。为了解决上述限制，我们提出了新的多视图子空间聚类网络的局部和全局图信息，称为MSCNLG，在本文中。具体而言，自动编码器网络采用多个视图，以实现潜在的平滑表示，适合于线性假设。同时，通过将融合后的多视点图信息整合到自表达层中，得到共享的多视点子空间表示，并利用标准谱聚类算法得到聚类结果.作为一个端到端的可训练框架，所提出的方法充分调查的多个视图的有价值的信息。在6个基准数据集上的综合实验验证了所提出的MSCNLG的有效性和优越性。
2021-03-24 cs.LG
Overcomplete Deep Subspace Clustering Networks
Johns Hopkins University（约翰斯·霍普金斯大学）
深度子空间聚类网络（DSC）通过使用具有全连接层的不完全深度自动编码器来利用自我表达属性，为无监督子空间聚类问题提供了一种有效的解决方案。该方法使用输入数据的不完全表示，这使得它不那么鲁棒并且更依赖于预训练。为了克服这一点，我们提出了一个简单而有效的替代方法-过完备深子空间聚类网络（ODSC），我们使用过完备表示子空间聚类。在我们提出的方法中，我们融合了来自欠完备和过完备自动编码器网络的特征，然后将其传递给自我表达层，从而使我们能够提取用于聚类的输入数据的更有意义和鲁棒的表示。在四个基准数据集上的实验结果表明，该方法在聚类错误方面优于DSC和其他聚类方法。我们的方法也不像DSC那样依赖于应该停止预训练以获得最佳性能，并且对噪声也更鲁棒。代码- \href{https://github.com/jeya-maria-jose/Overcomplete-Deep-Subspace-Clustering} {https：github.com/jeya-maria-jose/Overcomplete-Deep-Subspace-Clustering
2020-11-16 cs.CV cs.LG
