Subspace clustering using a symmetric low-rank representation
Sichuan University（四川大学）
在本文中，我们提出了一个低秩表示与对称约束（LRRSC）方法的鲁棒子空间聚类。给定一个从多个子空间中近似提取的数据点集合，该方法可以同时恢复每个子空间的维数和成员。LRRSC通过将对称约束集成到高维数据表示的低秩属性中，扩展了原始的低秩表示算法。对称低秩表示保留了高维数据的子空间结构，保证了每对数据点的权重一致性，使得子空间的高度相关数据点被表示在一起。此外，它可以通过求解凸优化问题来有效地计算。我们提供了一个严格的证明，最小化核范数正则化最小二乘问题的对称约束。进一步利用对称低秩表示的主方向的角度信息，可以得到用于谱聚类的亲和矩阵。这是评估数据点之间的成员关系的关键一步。基准数据库上的实验结果表明，LRRSC的有效性和鲁棒性相比，一些国家的最先进的子空间聚类算法。
2017-05-13 cs.CV
Beyond Low-Rank Representations: Orthogonal Clustering Basis Reconstruction with Optimized Graph Structure for Multi-view Spectral Clustering
The University of New South Wales（新南威尔士大学）；The University of Queensland（昆士兰大学）
低秩表示（Low-Rank Representation，LRR）可以说是多视图谱聚类中最强大的范例之一，它将多视图局部图/流形结构优雅地编码为嵌入高维空间中的内在低秩自表达数据相似性，以产生比单视图更好的图划分。在本文中，我们重新审视它从根本上不同的角度，发现LRR本质上是一个潜在的聚类正交投影为基础的表示翅膀与优化的局部图结构的谱聚类;表示的每一列基本上是与其它列正交的簇基以指示其成员，其直观地将视图特定特征表示投影为由所有正交基所跨越的表示，以表征簇结构。基于这一发现，我们提出了以下技术：（1）通过低秩矩阵分解将LRR分解为潜在的聚类正交表示，从而在原始数据对象上编码比LRR更灵活的聚类结构：（2）将LRR问题转化为同时学习每个视图的正交聚类表示和优化局部图结构的问题;（3）学习的正交聚类表示和局部图结构对于多视图具有相同的幅度，从而可以容易地实现理想的多视图一致性。在多视图数据集上的实验验证了该算法的优越性。
2018-03-22 cs.CV
Learning Robust Subspace Clustering
Duke University（杜克大学）
我们提出了一个低秩变换学习框架来鲁棒子空间聚类。许多高维数据，如人脸图像和运动序列，位于低维子空间的并集中。子空间聚类问题已经在文献中得到了广泛的研究，以将这些高维数据划分为与其底层低维子空间相对应的聚类。然而，低维的内在结构经常被现实世界的观测所破坏，因为它们可能被错误破坏或偏离理想模型。我们建议通过学习子空间上的线性变换，使用矩阵秩，通过其凸代理核范数，作为优化标准来解决这个问题。学习的线性变换为来自相同子空间的数据恢复低秩结构，并且同时为来自不同子空间的数据强制高秩结构。通过这种方式，我们减少了子空间内的变化，并增加了子空间之间的分离，以实现更准确的子空间聚类。该学习鲁棒子空间聚类框架显著提高了现有子空间聚类方法的性能。为了利用变换后的子空间的低秩结构，我们进一步引入了一种子空间聚类技术，称为鲁棒稀疏子空间聚类，它有效地结合了鲁棒PCA与稀疏建模。我们还讨论了转换的在线学习，以及在降低数据维数的同时学习转换。使用公共数据集进行的大量实验表明，该方法显着优于国家的最先进的子空间聚类方法。
2013-08-01 cs.CV
On Unifying Multi-View Self-Representations for Clustering by Tensor Multi-Rank Minimization
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Technology, Sydney（悉尼科技大学）；The Hong Kong Polytechnic University（香港理工大学）；Xiamen University（厦门大学）
在本文中，我们解决多视图子空间聚类问题。我们的方法利用张量的循环代数，这是通过堆叠不同视图的子空间表示矩阵，然后旋转构造，以捕获低秩张量子空间，从而可以实现视图特定子空间的细化，以及可以探索多视图数据的高阶相关性。通过引入最近提出的张量分解，即张量奇异值分解（tensor-SVD）\cite{kilmer13}，我们可以在旋转张量上施加一种新的低秩张量约束，以捕获来自多个视图的互补信息。与传统的基于张量范数的展开约束不同，该低秩张量约束具有与奇异值分解得到的矩阵秩相似的最优性性质，因此可以更有效、更彻底地挖掘视图间的互补信息。所建立的模型称为基于t-SVD的多视图子空间聚类（t-SVD-MSC），属于增广拉格朗日方法的适用范围，其最小化问题可以有效解决，具有理论收敛性保证和相对较低的计算复杂性。在八个具有挑战性的图像数据集上进行的广泛的实验测试表明，与几种最先进的多视图聚类方法相比，该方法具有非常高的客观性能。
2017-08-13 cs.CV
Robust Kernelized Multi-View Self-Representations for Clustering by Tensor Multi-Rank Minimization
Fujian Key Laboratory of Sensing and Computing（福建省感知与计算重点实验室）；State Key Laboratory of Intelligent Control for Smart City（智能城市智能控制国家重点实验室）；School of Information Science and Management of Complex Systems and Engineering, Xiamen University（厦门大学信息科学与复杂系统与管理工程学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
最近，张量奇异值分解在多视图自表示聚类上实现，并在人脸聚类、场景聚类和通用对象聚类等许多现实应用中取得了令人鼓舞的结果。然而，基于张量奇异值分解的多视图自表示聚类算法最初是为了解决多个线性子空间中的聚类问题而提出的，在处理非线性子空间的情况时效果不理想。为了处理来自非线性子空间的数据聚类，设计了核化方法，通过将来自原始输入空间的数据映射到新的特征空间，在新的特征空间中，变换后的数据可以通过多重线性聚类方法进行聚类。本文针对核化多视图自表示聚类问题建立了一个优化模型。我们还开发了一个新的高效算法的交替方向方法的基础上，推导出一个封闭的形式的解决方案。由于所有的子问题都能精确求解，因此该优化算法保证能得到最优解。特别是，原始的基于张量的多视图自表示聚类问题是我们的方法的一个特例，可以通过我们的算法来解决。在几个流行的真实世界聚类数据集上的实验结果表明，我们的方法达到了最先进的性能。
2017-09-15 cs.CV
Adaptively Topological Tensor Network for Multi-view Subspace Clustering
University of Electronic Science and Technology of China (UESTC)（电子科技大学）
针对预定义张量分解无法适配不同多视图数据集结构、聚类性能次优的问题，提出自适应拓扑张量网络ATTN，通过数据驱动确定边秩、剪枝弱相关连接并结合贪心自适应秩递增策略挖掘低秩信息，在六个数据集上取得优于同类方法的多视图子空间聚类效果。
2023-05-01 cs.CV
On Clustering and Embedding Mixture Manifolds using a Low Rank Neighborhood Approach
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
来自紧密（非线性）混合物的样品通常被建模为从光滑流形中提取。数据包含具有一些共同组成材料的多种紧密混合物的情况可以被认为是共享边界的流形。处理这些数据的两个重要步骤是（i）识别（聚类）数据中存在的不同混合流形，以及（ii）通过将每个混合流形映射到某个低维欧氏空间（嵌入）来消除数据中存在的非线性。流形聚类和嵌入技术似乎是一个理想的工具，这项任务，但目前国家的最先进的算法表现不佳的高光谱数据，特别是在嵌入任务。我们提出了一种新的基于重构的算法，用于改进混合流形的聚类和嵌入。该算法试图将每个目标点重建为其最近邻居的仿射组合，并对邻居进行额外的秩惩罚，以确保在重建中仅使用与目标点相同的流形上的邻居。使用这种技术生成的重建矩阵是块对角的，可以用于聚类（使用谱聚类）和嵌入。在各种模拟和真实的混合数据集上显示了算法相对于其竞争对手的改进性能。
2017-08-12 cs.CV
Prototype Instance-semantic Disentanglement with Low-rank Regularized Subspace Clustering for WSIs Explainable Recognition
Columbia University（哥伦比亚大学）；Hong Kong Polytechnic University（香港理工大学）
本文提出PID-LRSC框架，通过低秩正则化子空间聚类和增强对比学习解决WSI中实例与语义耦合问题，提升模型可解释性和诊断可靠性。
2026-02-16 cs.CV
Data-Adaptive Transformed Bilateral Tensor Low-Rank Representation for Clustering
School of Automation Engineering, Shanghai University of Electric Power（上海电力大学自动化工程学院）；School of Mechatronic Engineering and Automation, Shanghai University（上海大学机电工程与自动化学院）；School of Intelligent Systems Engineering, Sun Yat-sen University（中山大学智能系统工程学院）
提出TBTLRR模型，通过数据自适应变换和双边结构学习全局与局部相关性，结合混合正则化处理噪声，在聚类任务上优于现有方法。
2025-10-22 cs.CV
Kernelized Low Rank Representation on Grassmann Manifolds
Beijing University of Technology（北京工业大学）；Charles Sturt University（查尔斯特大学）
低秩表示（LRR）由于其在探索数据中的低维子空间结构方面的令人满意的效果，近年来引起了人们的极大兴趣。它的一个成功的应用是子空间聚类，这意味着数据是根据它们所属的子空间进行聚类。在本文中，在一个更高的水平，我们打算集群子空间到类的子空间。这自然被描述为格拉斯曼流形上的聚类问题。本文的创新之处在于在一致核化的框架下将欧氏空间上的LRR推广到格拉斯曼流形上的LRR模型上。这些新方法在计算机视觉任务中有许多应用。对手写数字图像、动态纹理、人脸片段和交通场景序列进行了聚类实验。实验结果表明，所提出的方法优于一些国家的最先进的子空间聚类方法。
2015-04-08 cs.CV
Multi-View Spectral Clustering via Structured Low-Rank Matrix Factorization
The University of New South Wales（新南威尔士大学）；The University of Queensland（昆士兰大学）
多视图数据聚类比单视图数据聚类更受关注，因为多视图特征空间中的多个独立和互补信息的利用优于单视图。多视图谱聚类的目的是通过寻求特征值-特征向量分解，在局部流形结构上得到数据划分一致性。然而，正如我们所观察到的，这种经典范式仍然存在以下问题：（1）忽略了灵活的局部流形结构，这是由（2）在所有视图之间强制执行低秩数据相关性协议引起的;更糟糕的是，（3）LRR在捕捉潜在数据聚类结构方面并不直观灵活。在本文中，我们提出了结构化LRR分解成潜在的低维数据集群表示，其特征在于每个视图的数据聚类结构。在这种表示上，（b）拉普拉斯正则化子被施加为能够为每个视图保持灵活的局部流形结构。(c)我们提出了一种迭代多视图一致性策略，通过在优化过程的每次迭代期间最小化所有因子化潜在数据集群表示之间的分歧目标，其中来自每个视图的这种潜在表示用于调节来自其他视图的潜在表示，这种直观的过程迭代协调所有视图都是令人满意的。(d)我们注意到，这样的数据聚类表示可以灵活地编码的数据聚类结构，从任何角度与自适应的输入聚类数。为此，（e）通过有效的交替最小化策略，提出了一种新的非凸目标函数。最后给出了算法的复杂性分析。对真实世界的多视图数据集进行了大量的实验，证明了其优越性。
2017-12-07 cs.CV
LogDet Rank Minimization with Application to Subspace Clustering
Southern Illinois University（南伊利诺伊大学）；University of Hawaii at Hilo（夏威夷大学希洛分校）
低秩矩阵是许多机器学习和计算机视觉问题所需要的。最近的研究大多使用核范数作为秩算子的凸替代。然而，所有奇异值都是简单地通过核范数加在一起，因此在实际问题中可能无法很好地近似秩。在本文中，我们建议使用一个对数行列式（LogDet）函数作为一个光滑和更接近，虽然非凸，近似秩获得低秩表示子空间聚类。采用增广拉格朗日乘子策略迭代优化基于LogDet的非凸目标函数。利用低秩表示的主方向的角度信息，构造了一个用于谱聚类的亲和图矩阵。运动分割和人脸聚类数据的实验结果表明，该方法往往优于国家的最先进的子空间聚类算法。
2015-07-03 cs.CV cs.LG stat.ML
Learning Low-Rank Representations for Model Compression
Beijing University of Posts and Telecommunications（北京邮电大学）；Huawei（华为）
矢量量化（VQ）是一种很有吸引力的模型压缩方法，它可以获得较小精度损失的微小模型。虽然在固定的聚类维数下获得更好的码本和码的方法已经被广泛研究，但是没有仔细考虑有利于聚类性能的向量的优化，特别是通过减少向量维数。本文报告了我们最近的进展相结合的维数压缩和矢量量化，提出了一种低秩表示矢量量化（$\text{LR}^2\text{VQ}$）的方法，优于以前的VQ算法在各种任务和架构。$\text{LR}^2\text{VQ}$将低秩表示与子向量聚类相结合，构建了一种新的构建块，该构建块通过端到端训练直接优化任务损失。我们提出的设计模式引入了三个超参数，聚类数$k$，子向量$m$的大小和聚类维数$\tilde{d}$。在我们的方法中，压缩比可以直接由$m$控制，最终的精度完全由$\tilde{d}$决定。我们认识到$\tilde{d}$作为低秩近似误差和聚类误差之间的权衡，并进行理论分析和实验观察，使正确的$\tilde{d}$的估计前微调。在适当的$\tilde{d}$下，我们在ImageNet分类数据集上使用ResNet-18/ResNet-50评估了$\text{LR}^2\text{VQ}$，与当前最先进的基于VQ的压缩算法相比，使用43 $\times$ /31 $\times$压缩因子，实现了2.8\%/1.0\%的top-1精度改进。
2022-11-21 cs.CV
Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation
Southeast University（东南大学）；Caritas Institute of Higher Education（明爱专上学院）；City University of Hong Kong（香港城市大学）
在这封信中，我们提出了一种新的半监督子空间聚类方法，它能够同时增加初始监督信息和构造一个有区别的亲和矩阵。通过将有限数量的监督信息表示为成对约束矩阵，我们观察到用于聚类的理想亲和力矩阵与理想成对约束矩阵具有相同的低秩结构。因此，我们将这两个矩阵堆叠成一个3-D张量，其中施加全局低秩约束以促进亲和矩阵的构建并同步地增加初始成对约束。此外，我们使用输入样本的局部几何结构来补充全局低秩先验，以实现更好的亲和矩阵学习。该模型被配制成一个拉普拉斯图正则化凸低秩张量表示问题，这是进一步解决了一个替代的迭代算法。此外，我们提出了改进的亲和矩阵与增强的成对约束。在8个常用的基准数据集上的综合实验结果表明，我们的方法优于最先进的方法。该代码可在https://github.com/GuanxingLu/Subspace-Clustering上公开获取。
2023-01-04 cs.CV cs.LG
Robust Subspace Clustering via Tighter Rank Approximation
Southern Illinois University（南伊利诺伊大学）
矩阵秩最小化问题一般是NP-难的。核范数在最近的许多研究中被用来代替秩函数。然而，核范数近似将所有奇异值加在一起，并且近似误差可能在很大程度上取决于奇异值的大小。这可能会限制其处理许多实际问题的能力。在本文中，反正切函数被用来作为一个更紧密的逼近秩函数。我们将其用于具有挑战性的子空间聚类问题。对于这个非凸最小化问题，我们开发了一种有效的优化程序的基础上的一种增广拉格朗日乘子（ALM）方法。大量的人脸聚类和运动分割实验表明，该方法是有效的秩近似。
2015-10-30 cs.AI cs.CV cs.LG
Multi-view Low-rank Sparse Subspace Clustering
Rudjer Boskovic Institute（鲁杰尔·博什科维奇研究所）
大多数现有的方法解决多视图子空间聚类问题，通过构造每个视图上的亲和矩阵，然后提出如何扩展谱聚类算法来处理多视图数据。本文提出了一种多视点子空间聚类方法，通过构造视点间共享的亲和矩阵来学习联合子空间表示。依赖于低秩和稀疏约束在亲和矩阵的构建中的重要性，我们引入了在不同观点之间的协议之间进行平衡的目标，同时鼓励解决方案的稀疏性和低秩。对于每个视图，采用乘子交替方向法求解相关的低秩稀疏约束优化问题。此外，我们将我们的方法扩展到集群数据从非线性子空间中解决相应的问题，在再生核希尔伯特空间。该算法优于国家的最先进的多视角子空间聚类算法在一个合成和四个真实世界的数据集。
2017-08-29 cs.CV cs.LG math.OC
Multi-View Spectral Clustering Tailored Tensor Low-Rank Representation
City University of Hong Kong（香港城市大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）
研究了基于张量低秩建模的多视图谱聚类问题。与现有的方法都采用现成的张量低秩范数，而不考虑MVSC中张量的特殊性不同，我们设计了一种新的结构化张量低秩范数。具体来说，我们明确地施加对称低秩约束和结构化稀疏低秩约束的正面和水平切片的张量，以表征视图内和视图间的关系，分别。此外，这两个约束可以联合优化，以实现相互细化。在新的张量低秩范数的基础上，我们将MVSC表示为凸低秩张量恢复问题，然后使用基于增广拉格朗日乘子的方法迭代有效地求解该问题。在五个基准数据集上的实验结果表明，该方法在很大程度上优于现有的方法。令人印象深刻的是，我们的方法能够产生完美的聚类。此外，我们的方法的参数可以很容易地调整，并且所提出的模型对不同的数据集具有鲁棒性，证明了其在实践中的潜力。
2020-08-01 cs.CV cs.LG stat.ML
Multi-view MERA Subspace Clustering
University of Electronic Science and Technology of China（电子科技大学）
针对当前多视图子空间聚类中张量分解的展开矩阵不平衡或旋转敏感问题，提出基于多尺度纠缠重整化假设（MERA）的低秩MERA-MSC算法及其可扩展版本sMERA-MVC，通过多重交互有效捕捉视图间/视图内信息，在多个数据集上表现优异。
2023-05-16 cs.CV
Robust Subspace Clustering via Smoothed Rank Approximation
Southern Illinois University（南伊利诺伊大学）
本文提出基于对数-行列式秩近似的方法，用于子空间聚类，以提高精度并有效处理误差和噪声。
2015-08-18 cs.CV cs.IT cs.LG
One-step Multi-view Clustering With Adaptive Low-rank Anchor-graph Learning
National Key Laboratory of Human–Machine Hybrid Augmented Intelligence（人机混合增强智能国家重点实验室）；National Engineering Research Center for Visual Information and Applications（视觉信息与应用国家工程研究中心）；Institute of Artificial Intelligence and Robotics（人工智能与机器人研究所）；Xi’an Jiaotong University（西安交通大学）；School of Electrical and Electronic Engineering（电子工程学院）；Nanyang Technological University（南洋理工大学）
本文提出一步式多视图聚类方法OMCAL，通过核范数自适应学习低秩共识锚图以抑制冗余和噪声，并将类别指示获取与锚图学习统一到同一框架中，从而在大规模聚类中同时提升聚类效果和效率。
2025-09-18 cs.CV cs.LG
Low Rank Representation on Grassmann Manifolds: An Extrinsic Perspective
Beijing University of Technology（北京工业大学）；Charles Sturt University（查尔斯特大学）
许多计算机视觉算法采用子空间模型来表示数据。低秩表示（LRR）已成功地应用于子空间聚类，数据根据其子空间结构进行聚类。本文探讨了在Grassmann流形上推广LRR的可能性。不是直接将格拉斯曼流形嵌入到对称矩阵空间中，而是通过在每个格拉斯曼点的切空间上构建LRR的自表示来采取外在观点。设计并实现了一种新的算法来求解所提出的格拉斯曼LRR模型。在手写数字数据集、动态纹理视频片段和YouTube名人人脸视频数据上进行了聚类实验。实验结果表明，我们的方法优于一些现有的方法。
2015-04-08 cs.CV
Hierarchical Clustering of Hyperspectral Images using Rank-Two Nonnegative Matrix Factorization
Université de Mons（蒙斯大学）；Georgia Institute of Technology（佐治亚理工学院）
本文设计了一种高分辨率高光谱图像的层次聚类算法。在算法的核心，一个新的秩2非负矩阵分解（NMF）算法被用来分裂的集群，这是由凸几何概念的动机。该方法从包含所有像素的单个聚类开始，并且在每个步骤中，（i）以使得下一步骤中的误差最小化的方式选择聚类，以及（ii）以使得聚类很好地平衡和稳定的方式使用秩二NMF将所选择的聚类分成两个不相交的聚类。所提出的方法也可以作为一个端元提取算法中存在的纯像素。这种方法的有效性说明了几个合成和现实世界的高光谱图像，并表现出优于标准的聚类技术，如k-均值，球形k-均值和标准NMF。
2014-08-19 cs.CV cs.IR math.OC
Clustering by Low-Rank Doubly Stochastic Matrix Decomposition
Aalto University（阿尔托大学）
提出一种超越矩阵分解的低秩学习方法，通过两步二分随机游走逼近聚类分配概率，利用KL散度最小化实现判别模型的最大似然估计，并采用松弛的MM算法优化，显著提升大规模流形数据的聚类纯度。
2012-06-18 cs.CV cs.LG cs.NA
Robust Principal Component Analysis on Graphs
EPFL（洛桑联邦理工学院）；Universita della Svizzera Italiana（瑞士意大利语区大学）
主成分分析（PCA）是线性降维和聚类的最广泛使用的工具。尽管如此，它对离群值高度敏感，并且在数据样本数量方面不能很好地扩展。鲁棒PCA用稀疏惩罚项解决了第一个问题。第二个问题可以用矩阵分解模型来处理，但是它是非凸的。此外，基于PCA的聚类也可以通过使用数据相似性图来增强。在这篇文章中，我们介绍了一个新的模型，称为“鲁棒PCA图”，它将谱图正则化到鲁棒PCA框架。我们提出的模型受益于1）主成分对遮挡和缺失值的鲁棒性，2）增强的低秩恢复，3）由于低秩矩阵上的图平滑假设而改进的聚类特性，以及4）所得优化问题的凸性。在8个基准测试，3个视频和2个人工数据集上进行的大量实验清楚地表明，我们的模型在聚类和低秩恢复任务中优于其他10个最先进的模型。
2015-04-23 cs.CV
Subspace Clustering by Block Diagonal Representation
National University of Singapore（新加坡国立大学）；Peking University（北京大学）；Shanghai Jiaotong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）
本文研究子空间聚类问题。给定从子空间的并集中近似提取的一些数据点，目标是将这些数据点分组到它们的底层子空间中。人们已经提出了许多子空间聚类方法，其中稀疏子空间聚类和低秩表示是两种具有代表性的方法。尽管有不同的动机，我们观察到，许多现有的方法拥有共同的块对角属性，这可能会导致正确的聚类，但他们的证明是个案。在这项工作中，我们考虑了一般的配方，并提供了一个统一的理论保证的块对角属性。许多现有方法的块对角属性属于我们的特殊情况。其次，我们观察到许多现有方法通过使用不同的结构先验来近似块对角表示矩阵，例如，稀疏性和低秩性，这是间接的。我们提出了第一个块对角矩阵诱导正则化子，直接追求块对角矩阵。利用该正则化子，我们通过块对角表示（BDR）来解决子空间聚类问题，该表示使用块对角结构先验。BDR模型是非凸的，我们提出了一个交替的最小化求解器，并证明其收敛性。在真实数据集上的实验证明了BDR的有效性。
2018-05-23 cs.CV
Low-rank Kernel Learning for Graph-based Clustering
University of Electronic Science and Technology of China（电子科技大学）
邻接图的构造是基于图聚类的基础。内核空间中的图学习在许多基准数据集上表现出令人印象深刻的性能。然而，其性能在很大程度上取决于所选择的核矩阵。为了解决这个问题，先前的多核学习算法已经被应用于从一组预定义的核中学习最优的核。这种方法可能对噪声敏感，并限制了共识核的表示能力。与现有的方法相比，我们建议学习一个低秩的核矩阵，利用核矩阵的相似性，并寻求一个最佳的内核从候选内核的邻域。通过在统一的框架中制定图构造和核学习，图和共识核可以相互迭代增强。大量的实验结果验证了该方法的有效性。
2019-03-14 cs.CV cs.LG stat.ML
Learning Transformations for Clustering and Classification
Duke University（杜克大学）
提出了一种用于子空间聚类和分类的低秩变换学习框架。许多高维数据，如人脸图像和运动序列，近似地位于低维子空间的并集中。相应的子空间聚类问题已经在文献中得到了广泛的研究，以将这些高维数据划分为与其底层低维子空间相对应的聚类。然而，低维的内在结构经常被现实世界的观测所破坏，因为它们可能被错误破坏或偏离理想模型。我们建议通过学习子空间上的线性变换，使用矩阵秩，通过其凸代理核范数，作为优化标准来解决这个问题。学习的线性变换恢复来自相同子空间的数据的低秩结构，并且同时强制来自不同子空间的数据的最大分离结构。通过这种方式，我们减少了子空间内的变化，并增加了子空间之间的分离，以实现更鲁棒的子空间聚类。该学习鲁棒子空间聚类框架显著提高了现有子空间聚类方法的性能。这里提出的基本理论结果有助于进一步支持基本框架。为了利用变换后的子空间的低秩结构，我们进一步引入了一种快速子空间聚类技术，该技术有效地结合了鲁棒PCA和稀疏建模。当类标签出现在训练阶段时，我们发现这种低秩变换框架也显著提高了分类性能。使用公共数据集进行的大量实验表明，该方法显着优于最先进的子空间聚类和分类方法。
2014-03-09 cs.CV cs.LG stat.ML
Robust Data Clustering with Outliers via Transformed Tensor Low-Rank Representation
Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
针对含异常值的张量数据，提出基于t-SVD框架的异常值鲁棒张量低秩表示方法（OR-TLRR），实现异常值检测与数据聚类，并具备行空间精确恢复的理论保证。
2024-04-26 cs.CV cs.LG stat.ML
$\ell_0$-Motivated Low-Rank Sparse Subspace Clustering
Rudjer Boskovic Institute（鲁杰尔·博什科维奇研究所）
在许多应用中，高维数据点可以很好地表示为低维子空间。为了识别子空间，重要的是捕获数据的全局和局部结构，这是通过对数据表示矩阵施加低秩和稀疏约束来实现的。在低秩稀疏子空间聚类（LRSSC）中，核范数和$\ell_1$范数用于度量秩和稀疏性。然而，核规范和$\ell_1$规范的使用导致过度惩罚问题，并且仅近似于原始问题。在本文中，我们提出了两个$\ell_0$准范数的正则化。首先，本文提出了基于多元推广极大极小凹罚的正则化方法（GMC-LRSSC），它包含了$\ell_0$拟范数正则化目标的全局极小解。之后，我们引入Schatten-0（$S_0$）和$\ell_0$正则化目标，并使用邻近平均方法（$S_0/\ell_0$ -LRSSC）近似联合解的邻近映射。由此产生的非凸优化问题求解交替方向方法的乘数与建立的收敛条件的两种算法。合成和四个真实世界的数据集上获得的结果显示GMC-LRSSC和$S_0/\ell_0$ -LRSSC的有效性相比，国家的最先进的方法。
2018-12-17 cs.CV cs.LG math.OC
Adaptive Stochastic Gradient Descent on the Grassmannian for Robust Low-Rank Subspace Recovery and Clustering
Nanjing University of Information Science and Technology（南京信息工程大学）
本文提出GASG21算法，通过在Grassmann流形上进行自适应随机梯度下降，实现从大矩阵中鲁棒地恢复低秩子空间，并通过K子空间扩展实现对受损数据的聚类。
2015-04-18 cs.CV cs.NA math.NA
Fixed-Rank Representation for Unsupervised Visual Learning
Dalian University of Technology（大连理工大学）；Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research Asia（微软亚洲研究院）；Peking University（北京大学）
本文提出固定秩表示（FRR）作为无监督视觉学习的统一框架，通过闭式解揭示多子空间结构，并引入稀疏正则化以增强鲁棒性，同时开发了快速数值求解器。
2012-04-17 cs.CV cs.NA math.NA
Multi-view Subspace Adaptive Learning via Autoencoder and Attention
China University of Petroleum, Beijing Campus (CUP)（中国石油大学（北京））
多视图学习能够更全面地覆盖数据样本的所有特征，因此多视图学习受到了广泛的关注。传统的子空间聚类方法，如稀疏子空间聚类（SSC）和低秩子空间聚类（LRSC），聚类的亲和矩阵的单一视图，从而忽略了视图之间的融合问题。在本文中，我们提出了一种新的基于注意力和自编码器的多视点子空间自适应学习（MSALAA）。该方法结合了深度自编码器和多视图低秩稀疏子空间聚类（MLRSSC）中各视图自表示的对齐方法，既提高了对非线性拟合的能力，又满足了多视图学习的一致性和互补性原则。我们在六个真实数据集上观察到现有基线方法的显着改进。
2022-01-01 cs.CV cs.LG
Scalable Spectral Clustering with Nystrom Approximation: Practical and Theoretical Aspects
University of Massachusetts, Lowell（马萨诸塞大学洛厄尔分校）
谱聚类技术是信号处理和机器学习中用于划分复杂数据集的有价值的工具。谱聚类的有效性源于基于创建相似图和计算拉普拉斯矩阵的谱分解来构造非线性嵌入。然而，谱聚类方法无法扩展到大的数据集，因为高的计算成本和内存使用。解决这些问题的一种流行方法是利用Nystrom方法，这是一种有效的基于采样的算法，用于计算大型半正定矩阵的低秩近似。本文演示了以前流行的基于Nystrom的谱聚类方法有严重的局限性。现有的时间有效的方法忽略了重要的信息，过早地减少与采样点的相似性矩阵的秩。此外，目前的理解是有限的，关于如何利用Nystrom近似将影响频谱嵌入近似的质量。为了解决这些限制，这项工作提出了一个原则性的谱聚类算法，利用频谱特性的相似性矩阵与采样点调节精度效率的权衡。我们提供了理论结果，以减少目前的差距和数值实验与实际和合成数据。实验结果表明，该方法的有效性和效率相比，现有的谱聚类技术的基础上Nystrom方法和其他有效的方法。这项工作的总体目标是为未来的研究方向提供一个改进的基线，以加速谱聚类。
2021-01-31 cs.CV cs.LG stat.ML
