Clustering based on the In-tree Graph Structure and Affinity Propagation
University of Electronic Science and Technology of China(电子科技大学)
最近提出的一种聚类方法,称为最近下降(ND),可以将整个数据集组织成一个稀疏连接的图,称为In-tree。这种基于ND的In-tree结构被证明能够揭示数据集底层的聚类结构,除了一个不完美的地方,即在这个In-tree中有一些不需要的边需要被移除。在这里,我们提出了一种有效的方法来自动删除不需要的边缘,在树通过一个有效的结合在树结构与亲和传播(AP)。该组合的关键是在In-tree中可达节点之间添加边,然后使用AP删除不需要的边。在人工数据集和真实数据集上的实验证明了该方法的有效性。
2018-01-29 cs.CV cs.LG stat.ML
Uniform tensor clustering by jointly exploring sample affinities of various orders
South China University of Technology(华南理工大学);Guizhou Minzu University(贵州民族大学);Guangdong Polytechnic Normal University(广东技术师范大学);Beijing Institute of Technology(北京理工大学);Hong Kong Baptist University(香港浸会大学)
传统的基于两两相似度的聚类方法在处理高维特征和低样本数据时,往往会受到集中效应的影响,导致样本邻近度编码不准确,聚类性能不理想。为了解决这个问题,我们提出了一个统一的张量聚类方法(UTC),使用多个样本的亲和力来表征样本的接近度,从而补充丰富的空间样本分布,以提高聚类。具体地说,我们发现,三元张量亲和度可以通过两个亲和矩阵的Khari-Rao乘积来构造。此外,我们的早期工作表明,四阶张量亲和度是由克罗内克积定义的。因此,我们利用算术产品,Khatri-Rao和Kronecker产品,在数学上将不同的亲和度整合到一个统一的张量聚类框架中。因此,UTC联合学习联合低维嵌入以组合各种订单。最后,设计了一个数值格式来求解该问题。在人工数据集和真实数据集上的实验表明:1)高阶张量亲和度的使用可以为常用的亲和度矩阵提供样本接近度的补充表征; 2)所提出的UTC方法在处理高维数据时可以利用不同的阶亲和度来增强聚类。
2023-02-03 cs.LG
Semi-Supervised Clustering via Dynamic Graph Structure Learning
Yau Mathematical Sciences Center, Tsinghua University(清华大学丘成桐数学科学中心);Yanqi Lake Beijing Institute of Mathematical Sciences and Applications(北京雁栖湖应用数学研究院)
大多数现有的基于半监督图的聚类方法通过细化亲和矩阵或直接约束数据点的低维表示来利用监督信息。亲和矩阵表示图的结构,对基于图的半监督聚类的性能至关重要。然而,现有的方法采用静态的亲和矩阵来学习数据点的低维表示,并且在学习过程中没有优化亲和矩阵。本文提出了一种新的动态图结构学习方法用于半监督聚类。在这种方法中,我们同时优化亲和矩阵和低维表示的数据点,利用给定的成对约束。此外,我们提出了一个交替的最小化方法,证明了收敛性来解决所提出的非凸模型。在迭代过程中,我们的方法循环更新数据点的低维表示,并细化亲和矩阵,从而产生动态亲和矩阵(图结构)。具体来说,对于亲和度矩阵的更新,我们强制具有显著不同的低维表示的数据点具有亲和度值0。此外,我们构造的初始亲和矩阵,通过集成的局部距离和整体的自我表示的数据点之间。在不同设置下的8个基准数据集上的实验结果表明了该方法的优越性。
2022-09-06 cs.LG
Accelerated Fuzzy C-Means Clustering Based on New Affinity Filtering and Membership Scaling
Xidian University(西安电子科技大学);University of Alberta(阿尔伯塔大学);Systems Research Institute, Polish Academy of Sciences(波兰科学院系统研究所);King Abdulaziz University(阿卜杜勒阿齐兹国王大学)
模糊C均值(FCM)是一种广泛使用的聚类方法。然而,FCM及其许多加速变体在聚类过程的中后期效率较低。在该阶段中,所有样本都参与了非亲和中心的更新,大部分样本的模糊隶属度仍然通过计算样本-中心距离来更新,但样本的隶属度没有改变。这些都导致算法收敛速度慢。在本文中,一个新的亲和过滤技术的发展,以识别一个完整的非亲和中心的每个样本与低计算。然后,提出了一种新的隶属度缩放技术,将每个样本与其非亲和中心之间的隶属度设置为0,并保持其他样本的模糊隶属度。将这两种技术相结合,提出了基于新的仿射滤波和隶属度缩放的模糊聚类算法(AMFCM),以加速FCM的整个收敛过程。在合成数据集和真实数据集上的实验结果表明了该算法的可行性和有效性。与现有的算法相比,AMFCM具有更快、更有效的特点。例如,AMFCM将FCM的迭代次数平均减少了80%。
2023-02-14 cs.LG
Doubly Stochastic Subspace Clustering
Cornell University(康奈尔大学);Johns Hopkins University(约翰斯·霍普金斯大学)
许多最先进的子空间聚类方法遵循两步过程,首先构建数据点之间的亲和矩阵,然后将谱聚类应用于该亲和矩阵。大多数对这些方法的研究都集中在生成亲和力的第一步,这通常利用线性子空间的自我表达特性,很少考虑产生最终聚类的谱聚类步骤。此外,现有的方法通常通过将ad-hoc或任意选择的后处理步骤应用于由自表达聚类公式生成的亲和力来获得在谱聚类步骤中使用的最终亲和力,这可能对整体聚类性能产生重大影响。在这项工作中,我们通过学习数据的自我表达表示和对谱聚类进行良好规范化的亲和矩阵来统一这两个步骤。在我们提出的模型中,我们将亲和矩阵约束为双重随机,这导致亲和矩阵归一化的原则方法,同时还利用了谱聚类中双重随机归一化的已知好处。我们开发了一个通用的框架,并得出两个模型:一个是共同学习的自我表达的表示与双随机亲和力,和一个顺序解决一个,然后其他。此外,我们利用稀疏性的问题,开发一个快速的活动集方法的顺序求解器,使大型数据集上的有效计算。实验表明,我们的方法在计算机视觉中的许多常见数据集上实现了最先进的子空间聚类性能。
2021-04-19 cs.AI cs.CV cs.LG
Conformal Prediction based Spectral Clustering
Sri Sathya Sai Institute of Higher Learning(斯里·萨提亚·赛高等教育学院)
谱聚类是近年来一种重要的数据聚类技术,引起了研究者的广泛关注。它是一种高度数据驱动的方法,对要聚类的数据结构没有严格的假设。谱聚类的核心部分之一是基于数据点之间的相似性度量构建亲和矩阵。定义数据点之间的相似性度量的方式对SC技术的性能有直接影响。已经在加强成对相似性度量以增强谱聚类的方向上进行了几次尝试。在这项工作中,我们已经定义了一种新的亲和性措施,采用共形预测(CP)框架中使用的非一致性的概念。基于非一致性的亲和度捕获数据点的邻域之间的关系,并且具有概括上下文相似性的概念的能力。我们已经表明,这种制定的亲和性措施给出了良好的结果,并与最先进的方法。
2019-09-17 cs.CV cs.LG stat.ML
Geometric Affinity Propagation for Clustering with Network Knowledge
Texas A&M University(德克萨斯农工大学)
将数据聚类成有意义的子集是科学数据分析中的一项主要任务。迄今为止,各种策略,从基于模型的方法,以数据驱动的计划,已被设计为高效和准确的聚类。一类重要的聚类方法,是一个特别感兴趣的是类基于样本的方法。这种兴趣主要源于这些样本中编码的压缩信息量,这些样本有效地反映了相应聚类的主要特征。亲和传播(AP)已被证明是一个强大的基于样本的方法,通过迭代的成对消息更新来细化最佳样本集。然而,一个关键的限制是它无法利用已知的数据点之间的网络关系,往往可用于各种科学数据集。为了缓解这一缺点,我们提出了几何AP,一种新的聚类算法,有效地扩展AP利用网络拓扑结构。Geometric-AP遵守网络约束,并使用最大和信念传播来利用可用的网络拓扑在网络上生成平滑的聚类。广泛的性能评估显示,一个显着的增强质量的聚类结果相比,基准聚类方案。特别是,我们证明了几何AP执行非常好,即使在原始AP彻底失败的情况下。
2021-03-26 cs.LG
Local and global approaches of affinity propagation clustering for large scale data
School of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
最近提出了一种新的聚类算法,称为“亲和传播”(AP),有效地聚类稀疏相关的数据之间传递消息的数据点。然而,我们希望对大规模数据进行聚类,其中在许多情况下相似性并不稀疏。本文提出了两种变体的AP大规模数据的密集相似矩阵进行分组。局部方法是分区亲和传播(PAP),全局方法是地标亲和传播(BMAP)。PAP算法先在数据子集中传递消息,然后合并数据子集作为初始迭代步数,可以有效减少聚类的迭代次数。它首先在界标数据点之间传递消息,然后对非界标数据点进行聚类;它是一种大型全局近似方法,可以加快聚类速度。在随机数据点集、流形子空间、人脸图像和汉字书法等数据集上进行了实验,实验结果证明了这两种方法的可行性和实用性。
2009-10-09 cs.CV cs.LG
Latent Complete Row Space Recovery for Multi-view Subspace Clustering
National University of Defense Technology(国防科技大学);Shanxi University(山西大学)
多视点子空间聚类在图像处理、视频监控等领域得到了广泛的应用,并引起了越来越多的关注。大多数现有的方法学习特定于视图的自表示矩阵,并从多个视图中构造一个组合的亲和矩阵。亲和度构造过程耗时长,并且不能保证组合亲和度矩阵反映整个真实子空间结构。为了克服这些问题,潜在的完全行空间恢复(LCRSR)方法被提出。具体地说,LCRSR是基于这样的假设,即多视图观测是从底层的潜在表示生成的,该潜在表示进一步假设收集从多个子空间精确提取的真实样本。LCRSR能够恢复潜在表示的行空间,它不仅携带来自多个视图的完整信息,而且在一定条件下确定子空间成员。LCRSR不涉及图的构造过程,并且使用高效且收敛的算法来求解,从而更具有可扩展性以适应大规模数据集。通过对不同类型的多视点数据进行聚类,验证了LCRSR的有效性和效率,并在背景减除任务中得到了说明。
2019-12-16 cs.LG stat.ML
Adaptive Affinity Matrix for Unsupervised Metric Learning
Shanghai Jiao Tong University(上海交通大学)
谱聚类是最流行的聚类方法之一,能够处理一些具有挑战性的聚类问题。大多数谱聚类方法提供从数据流形到子空间的非线性映射。只有很少的工作集中在显式线性映射,可以看作是无监督的距离度量学习。在实际应用中,亲和矩阵的选取对无监督学习有着巨大的影响。虽然近几年来仿射学习取得了很大的成功,但仍有一些问题需要解决,如降噪问题。在本文中,我们提出了一种新的方法,称为自适应亲和矩阵(AdaAM),学习自适应亲和矩阵,并从亲和度中导出距离度量。我们假设亲和矩阵是半正定的,能够量化成对的相异性。我们的方法是基于构成的谱分解问题的目标函数的优化。我们从原始数据分布和广泛使用的热核中产生亲和力。所提供的矩阵可以看作是流形上两两关系的最优表示。在大量真实数据集上的实验表明了AdaAM的有效性和高效性。
2016-09-11 cs.CV cs.LG
Incremental Affinity Propagation based on Cluster Consolidation and Stratification
针对动态数据集增量聚类需求,提出基于簇合并与分层的后验亲和传播算法APP,无需全量重聚类即可动态合并新对象、支持遗忘过时簇,在4个数据集上性能与传统AP、IAPNA相当且兼具可扩展性。
2024-01-25 cs.LG cs.NE
Application of the Affinity Propagation Clustering Technique to obtain traffic accident clusters at macro, meso, and micro levels
Federal University of Rio Grande do Sul(南里奥格兰德联邦大学)
事故分组是确定事故多发地点的关键步骤。在不同的事故分组模式中,聚类方法在发现事故在空间上的不同分布方面表现出优异的性能。这项工作介绍了相似性传播聚类(APC)方法分组交通事故的基础上,在空间中的数据点分布之间的相似性和相异性的标准。APC从实例之间的相似性矩阵提供了事件分布的更真实的表示。结果表明,当获得具有代表性的数据样本时,相似性偏好参数为模型的校准和根据期望特征生成聚类提供了必要的性能。此外,研究表明,偏好参数作为一个连续的参数,有利于校准和控制模型的收敛性,允许发现聚类模式与更少的努力和更大的控制结果
2022-02-09 cs.DC cs.LG
Learning Generative Models of Similarity Matrices
University of Toronto(多伦多大学)
我们描述了一个概率(生成)视图的亲和矩阵以及推理算法与数据聚类相关的问题的一个子类。这种概率视图有助于理解基于数据的亲和函数的不同模型和算法。特别地,我们展示了一个特定概率模型的(贪婪)推理是如何等价于谱聚类算法的,它也为开发新的算法和扩展模型提供了一个框架。作为一种情况下,我们提出了新的生成数据聚类模型,使我们能够推断出适合手头的聚类问题的基本距离度量。这些模型似乎在更大的一类问题中表现良好,而其他聚类算法(包括谱聚类)通常会失败。在多个点数据集上进行了实验评估,表现出良好的性能。
2012-10-19 cs.LG stat.ML
Tensor Decompositions: A New Concept in Brain Data Analysis?
RIKEN BSI(理化学研究所脑科学综合研究中心)
本文综述了张量分解在多向BSS/ICA、特征提取、分类和多向PLS回归中的新模型与方法,涵盖约束Tucker和CP模型及惩罚张量分解。
2013-05-02 cs.LG cs.NA math.NA
Affinity Clustering Framework for Data Debiasing Using Pairwise Distribution Discrepancy
Research Institute CODE, Bundeswehr University Munich(慕尼黑联邦国防军大学CODE研究所)
本文提出 MASC 亲和聚类数据增强框架,通过数据集间分布差异构建相似矩阵并谱聚类,引入相似情境真实数据平衡非二元受保护属性分布,实现可比现有方法的有效去偏。
2023-06-02 cs.AI cs.LG stat.ML
Learning from Binary Multiway Data: Probabilistic Tensor Decomposition and its Statistical Optimality
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, Berkeley(加州大学伯克利分校)
我们考虑的问题分解的高阶张量与二进制项目。这样的数据问题经常出现在神经成像、推荐系统、主题建模和传感器网络定位等应用中。我们提出了一个多线性伯努利模型,发展了一个秩约束的似然估计方法,并获得了理论上的精度保证。与连续值问题相比,二元张量问题根据信噪比表现出有趣的相变现象。建立了参数张量估计的误差界,并证明了在所考虑的模型下,所得到的速率是最小最大最优的。此外,我们开发了一个交替优化算法的收敛保证。我们的方法的有效性证明,通过模拟和分析多个数据集的任务张量完成和聚类。
2020-09-20 cs.LG math.ST stat.ME
Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation
Southeast University(东南大学);Caritas Institute of Higher Education(明爱专上学院);City University of Hong Kong(香港城市大学)
在这封信中,我们提出了一种新的半监督子空间聚类方法,它能够同时增加初始监督信息和构造一个有区别的亲和矩阵。通过将有限数量的监督信息表示为成对约束矩阵,我们观察到用于聚类的理想亲和力矩阵与理想成对约束矩阵具有相同的低秩结构。因此,我们将这两个矩阵堆叠成一个3-D张量,其中施加全局低秩约束以促进亲和矩阵的构建并同步地增加初始成对约束。此外,我们使用输入样本的局部几何结构来补充全局低秩先验,以实现更好的亲和矩阵学习。该模型被配制成一个拉普拉斯图正则化凸低秩张量表示问题,这是进一步解决了一个替代的迭代算法。此外,我们提出了改进的亲和矩阵与增强的成对约束。在8个常用的基准数据集上的综合实验结果表明,我们的方法优于最先进的方法。该代码可在https://github.com/GuanxingLu/Subspace-Clustering上公开获取。
2023-01-04 cs.CV cs.LG
Multi-view Low-rank Sparse Subspace Clustering
Rudjer Boskovic Institute(鲁杰尔·博什科维奇研究所)
大多数现有的方法解决多视图子空间聚类问题,通过构造每个视图上的亲和矩阵,然后提出如何扩展谱聚类算法来处理多视图数据。本文提出了一种多视点子空间聚类方法,通过构造视点间共享的亲和矩阵来学习联合子空间表示。依赖于低秩和稀疏约束在亲和矩阵的构建中的重要性,我们引入了在不同观点之间的协议之间进行平衡的目标,同时鼓励解决方案的稀疏性和低秩。对于每个视图,采用乘子交替方向法求解相关的低秩稀疏约束优化问题。此外,我们将我们的方法扩展到集群数据从非线性子空间中解决相应的问题,在再生核希尔伯特空间。该算法优于国家的最先进的多视角子空间聚类算法在一个合成和四个真实世界的数据集。
2017-08-29 cs.CV cs.LG math.OC
Scalable Sparse Subspace Clustering by Orthogonal Matching Pursuit
Johns Hopkins University(约翰斯·霍普金斯大学)
基于$\ell_1$、$\ell_2$或核范数正则化的子空间聚类方法由于其简单性、理论保证和经验成功而变得非常流行。然而,正则化子的选择可以极大地影响理论和实践。例如,保证$\ell_1$正则化给出子空间保持亲和性(即,在来自不同子空间的点之间没有连接)在广泛的条件下(例如,任意子空间和损坏的数据)。然而,它需要解决一个大规模的凸优化问题。另一方面,$\ell_2$和核范数正则化提供了有效的封闭形式解,但是需要非常强的假设来保证子空间保持亲和性,例如,独立的子空间和未损坏的数据。本文研究了一种基于正交匹配追踪的子空间聚类方法。我们表明,该方法是计算效率和保证在广泛的条件下,给一个子空间保持亲和力。在合成数据上的实验验证了理论分析的正确性,并在手写数字和人脸聚类中的应用表明,该方法在准确率和效率之间取得了最佳的平衡。
2016-05-05 cs.CV cs.LG stat.ML
Hierarchical Affinity Propagation
University of Toronto(多伦多大学)
亲和传播是一种基于样本的聚类算法,它找到一组最好的数据点,并将每个数据点与一个样本相关联。我们扩展亲和传播的原则性的方式来解决层次聚类问题,这出现在各种领域,包括生物学,传感器网络和决策运筹学。我们推导出一个推理算法,通过传播信息上下的层次结构,是有效的,尽管所需的图形模型制定的高阶电位。我们证明,我们的方法优于贪婪的技术,集群一层的时间。我们表明,在一个人工数据集设计模仿艾滋病毒株突变动态,我们的方法优于相关方法。对于真实的HIV序列,在地面真相不可用的情况下,我们表明我们的方法在潜在的目标函数方面取得了更好的结果,并显示结果与地理位置和毒株亚型有意义地对应。最后,我们报告的结果使用的方法进行质谱分析,显示它表现良好相比,国家的最先进的方法。
2012-02-14 cs.AI cs.LG stat.ML
An Incremental Reseeding Strategy for Clustering
University of Lausanne(洛桑大学);University of California(加利福尼亚大学);Loyola Marymount University(洛约拉马利蒙特大学);The City College of New York(纽约城市学院);University of California Los Angeles(加利福尼亚大学洛杉矶分校)
在这项工作中,我们提出了一个简单的,易于并行化的算法多路图划分。该算法在三个基本组件之间交替:在图上扩散种子顶点,对扩散的种子进行阈值化,然后对阈值化的簇随机重新播种。我们通过实验证明,这些成分的适当组合导致一种算法,该算法在标准基准数据集上的聚类纯度方面实现了最先进的性能。此外,该算法比在准确性方面实现可比结果的其他算法快一个数量级。我们还描述了一个粗糙化,集群和完善的方法,类似于GRACLUS和METIS,从我们的算法的运行时间,同时仍然保持竞争力的准确性,消除了一个额外的数量级。
2014-06-15 cs.LG stat.ML
Latent Geometry Inspired Graph Dissimilarities Enhance Affinity Propagation Community Detection in Complex Networks
Technische Universität Dresden(德累斯顿工业大学)
仿射传播是高维特征空间数据聚类的一种有效的无监督模式识别算法。然而,无数的尝试,以测试其性能的社区发现在复杂的网络中已经取得的结果非常远离国家的最先进的方法,如Infomap和Louvain。然而,所有这些研究都认为,关键问题是将未加权的网络拓扑转换为“足够智能”的节点相异性矩阵,该矩阵能够正确地解决亲和传播聚类背后的消息传递过程。在这里,我们介绍了一个概念上的创新,我们讨论了如何利用网络潜在的几何概念,以设计相似性传播社区发现的相异性矩阵。我们的研究结果表明,潜在的几何启发相异度的措施,我们设计带来的亲和传播等于或优于当前最先进的方法社区发现。考虑到合成的“真实”网络(具有已知的地面真实社区)和真实网络(具有社区元数据),即使数据结构被丢失或虚假连接人为引起的噪声破坏,这些发现也得到了可靠的证明。
2018-08-29 cs.LG cs.SI physics.soc-ph
Subspace Clustering Based Analysis of Neural Networks
University of California Riverside(加州大学河滨分校);Oak Ridge National Laboratory(橡树岭国家实验室)
分析深层神经网络潜在空间的工具为更好地理解它们迈出了一步。在这项工作中,我们激励稀疏子空间聚类(SSC),目的是从一组输入上训练的给定神经网络层的潜在结构中学习亲和图。然后,我们使用来自社区发现的工具来量化输入中存在的结构。这些实验表明,随着我们在网络中的深入,输入往往与同一类的其他输入具有越来越大的亲和力。随后,我们利用矩阵相似性度量来执行亲和图之间的逐层比较。在此过程中,我们首先证明,当将当前正在训练的给定层与其最终状态进行比较时,网络的层越浅,它比更深层收敛得越快。当对整个网络架构进行成对分析时,我们观察到,随着网络规模的增加,它会从每个层与其邻居适度相似的状态重新组织到一个块内的层与其他块中的层具有较高相似性的状态。最后,我们分析了网络最终卷积层的学习亲和图,并演示了输入的局部邻域如何影响网络的分类。
2021-07-02 cs.LG
Self-Tuning Spectral Clustering for Speaker Diarization
Institute for Advancing Intelligence, TCG CREST(先进智能研究所,TCG CREST);Academy of Scientific and Innovative Research (AcSIR)(科学与创新研究院);Department of Computer Science, RKMVERI(计算机科学系,RKMVERI);Electronics and Communication Sciences Unit, Indian Statistical Institute(电子与通信科学单位,印度统计研究院)
本文提出SC-pNA方法,通过从亲和矩阵直接推导剪枝参数并保留每行高相似度簇中前p%的相似度来构建稀疏亲和矩阵,在DIHARD-III数据集上以更高计算效率优于现有自动调谐谱聚类方法。
2025-06-05 cs.LG cs.SD eess.AS
Research on Clustering Performance of Sparse Subspace Clustering
School of IoT Engineering, Jiangnan University(江南大学物联网工程学院)
近年来,稀疏子空间聚类已成为处理高维数据的有效工具。在稀疏子空间聚类的框架中有两个基本步骤。一种是求解数据的系数矩阵,另一种是由系数矩阵构造亲和矩阵,并将其应用于谱聚类。本文在现有算法的基础上,从聚类精度和稳定性两个方面研究了影响聚类性能的因素。我们选择了四种方法来求解系数矩阵,并使用四种不同的方法来构造每个系数矩阵的相似度矩阵。然后,我们比较了不同的组合在三个数据集上的聚类性能。实验结果表明,系数矩阵和亲和度矩阵对聚类性能影响很大,如何开发稳定有效的算法仍需研究。
2019-12-21 cs.CV cs.LG
On Geometric Analysis of Affine Sparse Subspace Clustering
Beijing University of Posts and Telecommunications(北京邮电大学);Johns Hopkins University(约翰斯·霍普金斯大学)
稀疏子空间聚类(SSC)是一种最先进的方法,用于将从子空间的并集中提取的一组数据点分割到它们各自的子空间中。现在很好地理解,SSC在广泛的几何条件下产生子空间保持数据亲和性,但遭受连接问题。在本文中,我们开发了一种新的几何分析的SSC的变体,命名为仿射SSC(ASSC),从仿射子空间的联合聚类数据的问题。我们的贡献包括一个新的概念,称为仿射独立捕获的仿射子空间的集合的安排。在仿射独立的假设下,我们证明了ASSC保证产生子空间保持的亲和力。此外,灵感的现象,即$\ell_1$正则化不再引起稀疏的解决方案是非负的,我们进一步表明,子空间保持恢复可以实现在更弱的条件下,所有数据点以外的极端点,从每个子空间。此外,我们证实了一个奇怪的观察,由ASSC产生的亲和力可能是子空间密集的-这可以保证子空间保持的亲和力ASSC产生正确的聚类条件下,相当弱。我们验证了精心设计的合成数据的理论研究结果,并评估ASSC的性能在几个真实的数据集。
2018-11-21 cs.CV cs.LG eess.SP
Adaptive Attribute and Structure Subspace Clustering Network
City University of Hong Kong(香港城市大学);Caritas Institute of Higher Education(明爱专上学院);Southeast University(东南大学)
基于深度自表达的子空间聚类方法已经证明了其有效性。然而,现有的工作只考虑属性信息进行自我表达,这可能会限制聚类性能。本文提出了一种新的自适应属性和结构子空间聚类网络(AASSC-Net),以自适应图融合的方式同时考虑属性和结构信息。具体来说,我们首先利用一个自动编码器来表示输入数据样本的潜在特征的属性矩阵的建设。我们还构造了一个混合的有符号和对称结构矩阵来捕获数据样本的局部几何结构。然后,我们对构造的属性矩阵和结构矩阵执行自表达,以分别学习它们的亲和图。最后,我们设计了一个新的基于注意力的融合模块,自适应地利用这两个亲和图来构建一个更具鉴别力的亲和图。在常用基准数据集上进行的大量实验结果表明,我们的AASSC-Net显着优于最先进的方法。此外,我们进行全面的消融研究,讨论设计模块的有效性。该代码将在https://github.com/ZhihaoPENG-CityU上公开发布。
2022-04-22 cs.CV cs.LG
Groupwise Constrained Reconstruction for Subspace Clustering
School of Computer Science, Fudan University(复旦大学计算机科学学院);University of Technology, Sydney(悉尼科技大学)
基于重构的子空间聚类方法计算样本的自重构矩阵,并将其用于谱聚类以获得最终的聚类结果。它们的成功很大程度上依赖于基本子空间是独立的假设,然而,这并不总是在子空间数量增加的应用中成立。在本文中,我们提出了一种新的基于重构的子空间聚类模型,而不做子空间独立性假设。在我们的模型中,重建矩阵的某些属性使用潜在聚类指标来明确表征,并且用于谱聚类的亲和矩阵可以直接从潜在聚类指标的后验而不是重建矩阵中构建。在合成数据集和真实数据集上的实验结果表明,该模型的性能优于现有的方法。
2012-06-18 cs.LG stat.ML
Power to the Points: Validating Data Memberships in Clusterings
University of Utah(犹他大学)
聚类是基于与其他点的接近度对点的标签的隐式分配。这些标签随后被用于下游分析(要么关注单个聚类,要么识别聚类的代表等)。因此,为了将聚类作为探索性数据分析的第一步,我们必须信任分配给单个数据的标签。如果没有监督,我们如何验证这一任务?在本文中,我们提出了一种方法来附加亲和力分数的隐式标签的个人点在聚类。亲和度得分捕获声称“拥有”该点的聚类的置信度水平。这个方法非常通用:它可以用于从欧几里德数据、核化数据或甚至从信息空间导出的数据导出的聚类。它平滑地整合了聚类的重要性函数,允许我们以不同的方式划分八个不同的聚类。它也是高效的:将相似性分数分配给点仅多项式地取决于簇的数量,并且与数据中的点的数量无关。底层空间的维度只在预处理中出现。我们证明了我们的方法的价值与实验研究,说明了使用这些分数在不同的数据分析任务,以及该方法的效率和灵活性。我们还展示了这些分数的有用的可视化;这些可能在交互式分析框架内证明是有用的。
2013-05-21 cs.CG cs.LG
A Simple Approach to Automated Spectral Clustering
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院);Chinese Academy of Science(中国科学院);University of Chinese Academy of Sciences(中国科学院大学);Hefei University of Technology(合肥工业大学);Donghua University(东华大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
谱聚类的性能很大程度上依赖于亲和矩阵的质量。已经提出了各种亲和矩阵构造(AMC)方法,但是它们需要预先确定超参数,这需要很强的经验,并且导致在实际应用中的困难,特别是当聚类间相似性高和/或数据集大时。此外,我们经常需要为不同的数据集选择不同的AMC方法,这仍然取决于经验。为了解决这两个具有挑战性的问题,在本文中,我们提出了一个简单而有效的方法自动谱聚类。首先,我们提出了通过网格搜索或贝叶斯优化中找到最可靠的亲和矩阵由不同的AMC方法与不同的超参数,其中的可靠性量化的图拉普拉斯算子的\textit{relative-eigen-gap}。其次,我们提出了一种基于最小二乘表示和阈值的快速准确AMC方法,并从理论上证明了其有效性。最后,我们提供了一个大规模的扩展的自动谱聚类方法,其时间复杂度是线性的数据点的数量。大量的自然图像聚类实验表明,我们的方法是更通用,准确,高效的基线方法。
2022-10-01 cs.AI cs.LG
Nonlinear Markov Clustering by Minimum Curvilinear Sparse Similarity
基于非线性聚类的无监督模式识别算法的研究是数据科学中的一个重要问题。马尔可夫聚类(MCL)是一个著名的算法,它模拟样本相似性网络上的随机流,以检测数据中簇的结构组织,但它从来没有被推广到处理数据的非线性。最小曲线线性(MC)是一种用曲线距离来近似高维特征空间中的非线性样本距离的原则,曲线距离被计算为其最小生成树上的横向路径,然后存储在核中。在这里,我们提出了MC-MCL,这是第一个非线性内核扩展的MCL,并利用最小曲线性,以提高性能的真实和合成数据与潜在的非线性模式的MCL。将MC-MCL与DBSCAN、K-means和affinity propagation等基本聚类方法进行了比较。我们发现,最小Curvilinearity提供了一个有价值的框架,估计非线性距离时,其内核与MCL相结合。事实上,MC-MCL克服了经典的MCL,甚至基线聚类算法在不同的非线性数据集。
2019-12-27 cs.LG stat.ML
Large-Scale Subspace Clustering via k-Factorization
The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
子空间聚类(SC)的目标是对低维子空间的并集中的数据进行聚类。通常,SC学习亲和矩阵,然后执行谱聚类。这两个步骤都具有很高的时间和空间复杂度,这导致难以对大型数据集进行聚类。本文提出了一种大规模子空间聚类的方法,称为k-因子子空间聚类(k-FSC)。K-FSC通过在矩阵分解模型中追求结构稀疏性,直接将数据分解为k组。因此,k-FSC避免了学习亲和矩阵和执行特征值分解,并且在大数据集上具有低(线性)时间和空间复杂度。本文从理论上证明了k-FSC模型的有效性。提出了一种保证收敛性的k-FSC优化算法。此外,k-FSC能够处理稀疏噪声、离群值和缺失数据,这些在实际应用中普遍存在。本文还为k-FSC提供了在线扩展和样本外扩展,以处理流数据和聚类任意大的数据集。在大规模真实数据集上的大量实验表明,k-FSC及其扩展优于最先进的子空间聚类方法。
2021-05-30 cs.AI cs.LG
SPINEX-Clustering: Similarity-based Predictions with Explainable Neighbors Exploration for Clustering Problems
Clemson University(克莱姆森大学);University of Manitoba(曼尼托巴大学)
本研究提出新型聚类算法SPINEX-Clustering,利用子空间高阶交互实现聚类,经51个多类型数据集基准测试,性能跻身前5且复杂度适中,兼具可解释性。
2024-07-09 cs.LG stat.ML
Integrating Tensor Similarity to Enhance Clustering Performance
South China University of Technology(华南理工大学)
大多数聚类方法的性能取决于所使用的成对亲和力,这通常是由一个相似性矩阵表示。然而,成对相似性是众所周知的,其脆弱性的噪声污染或样本或特征的不平衡,从而阻碍了准确的聚类。为了解决这个问题,我们建议使用样本之间的信息,以提高聚类性能。证明了在可分解假设下,一个简化的相似度(用四阶张量表示)等于两两相似度矩阵的Kronecker积,或者在不可分解假设下,提供两两相似度缺失的互补信息.然后,通过特征值分解,从张量相似性获得高阶相似性矩阵。高阶相似性捕捉空间信息作为一个强大的补充,成对相似性。它进一步与流行的成对相似性(IPS2)相结合,以提高聚类性能。大量的实验表明,所提出的IPS2显着优于以前的基于相似性的方法在现实世界的数据集,它能够处理欠采样和噪声数据集的聚类任务。
2020-06-26 cs.LG stat.ML
GLC++: Source-Free Universal Domain Adaptation through Global-Local Clustering and Contrastive Affinity Learning
School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院);School of Automotive Engineering, Tongji University(同济大学汽车工程学院);Faculty of Computer Science, Chemnitz University of Technology(化学工业大学计算机科学学院);Department of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学系);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);School of Computer Science and Technology, Key Laboratory of Embedded System and Service Computing, Ministry of Education, Tongji University(同济大学计算机科学与技术学院、教育部嵌入式系统与服务计算重点实验室)
针对 SF-UniDA 中已知类分类与未知类分离问题,提出 GLC 及融合对比亲和学习的 GLC++,在 VisDA、Office-Home 等场景显著提升性能。
2025-07-26 cs.AI cs.CV cs.LG
Bootstrap Deep Spectral Clustering with Optimal Transport
College of Electronic and Information Engineering, Tongji University(同济大学电子与信息工程学院);College of Electronic and Information Engineering, Shanghai Institute of Intelligent Science and Technology, Tongji University(上海智能科学与技术研究院,同济大学电子与信息工程学院);Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University(上海智能自主系统研究院,同济大学);Faculty of Data Science, City University of Macau(澳门城市大学数据科学学院);Faculty of Computer Science, University of Vienna(维也纳大学计算机科学学院);Singapore Institute of Technology(新加坡理工学院)
针对谱聚类分离优化和表示能力有限的问题,提出端到端深度谱聚类模型BootSC,联合学习各阶段,利用最优传输监督自举,并引入正交重参数化增强判别,在ImageNet-Dogs上NMI提升16%。
2025-08-06 cs.CV cs.LG
LogDet Rank Minimization with Application to Subspace Clustering
Southern Illinois University(南伊利诺伊大学);University of Hawaii at Hilo(夏威夷大学希洛分校)
低秩矩阵是许多机器学习和计算机视觉问题所需要的。最近的研究大多使用核范数作为秩算子的凸替代。然而,所有奇异值都是简单地通过核范数加在一起,因此在实际问题中可能无法很好地近似秩。在本文中,我们建议使用一个对数行列式(LogDet)函数作为一个光滑和更接近,虽然非凸,近似秩获得低秩表示子空间聚类。采用增广拉格朗日乘子策略迭代优化基于LogDet的非凸目标函数。利用低秩表示的主方向的角度信息,构造了一个用于谱聚类的亲和图矩阵。运动分割和人脸聚类数据的实验结果表明,该方法往往优于国家的最先进的子空间聚类算法。
2015-07-03 cs.CV cs.LG stat.ML
Consistent spectral clustering in sparse tensor block models
Department of Mathematics and Systems Analysis, Aalto University(奥卢大学数学与系统分析系)
本文提出了一种针对稀疏整数valued张量数据的谱聚类算法,通过修剪步骤和密度阈值实现一致性,并基于新颖的集中界分析了信号损失与噪声减少的权衡。
2025-12-04 cs.LG math.PR math.ST
Robust Clustering using Hyperdimensional Computing
University of Minnesota(明尼苏达大学);CISCO Systems(思科系统公司)
本文针对HDCluster初始化随机导致性能不鲁棒的问题,利用查询超向量相似性提出四种HDC聚类算法,其中基于相似性的亲和传播在八个数据集上准确性提升2~38%,且单遍聚类更鲁棒。
2023-12-05 cs.DB cs.LG cs.SC