Twin Learning for Similarity and Clustering: A Unified Kernel Approach
Southern Illinois University（南伊利诺伊大学）
许多基于相似性的聚类方法分为两个独立的步骤，包括相似性矩阵计算和随后的谱聚类。然而，相似性度量是具有挑战性的，因为它通常受到许多因素的影响，例如，相似性度量、邻域大小、数据规模、噪声和离群点的选择。因此，学习的相似性矩阵通常不适合，更不用说最佳的，为后续的聚类。此外，非线性相似性往往存在于许多现实世界中的数据，然而，没有被有效地考虑到大多数现有的方法。为了解决这两个挑战，我们提出了一个模型，同时学习聚类指示矩阵和核空间中的相似性信息的原则性方式。我们展示了核k-均值，k-均值和谱聚类方法的理论关系。然后，为了解决如何为特定的聚类任务选择最合适的内核的实际问题，我们进一步扩展了我们的模型与多核学习能力。利用该模型，可以自动完成寻找最佳聚类指标矩阵、最精确的相似关系和多核函数的最优组合三个子任务。通过在联合框架中利用这三个子任务之间的交互，每个子任务可以通过使用其他子任务的结果来迭代地提高整体最优解。大量的实验证明了我们的方法的有效性。
2017-05-03 cs.CV cs.LG stat.ML
Nearest-Neighbour-Induced Isolation Similarity and its Impact on Density-Based Clustering
Monash University（莫纳什大学）；Federation University（澳大利亚联邦大学）；Deakin University（迪肯大学）
针对隔离相似性树实现方法的缺陷，提出近邻诱导的隔离相似性，将其替换DBSCAN的距离度量可显著提升性能，还定义了质量连通簇并给出相关检测条件。
2019-06-30 cs.LG stat.ML
SPINEX-Clustering: Similarity-based Predictions with Explainable Neighbors Exploration for Clustering Problems
Clemson University（克莱姆森大学）；University of Manitoba（曼尼托巴大学）
本研究提出新型聚类算法SPINEX-Clustering，利用子空间高阶交互实现聚类，经51个多类型数据集基准测试，性能跻身前5且复杂度适中，兼具可解释性。
2024-07-09 cs.LG stat.ML
Correlation Clustering with Adaptive Similarity Queries
University of Rome Sapienza（罗马第一大学）；Università degli Studi di Milano（米兰大学）；IIT（意大利理工学院）；University of Lille（里尔大学）；Inria（法国国家信息与自动化研究所）
在相关聚类中，我们给出了$n$对象以及每对对象之间的二进制相似性得分。目标是将对象划分为聚类，以便最大限度地减少与分数的不一致。在这项工作中，我们研究相关聚类作为一个主动学习问题：每个相似性得分可以通过查询来学习，目标是尽量减少分歧和查询的总数。一方面，我们描述了简单的主动学习算法，可证明实现了几乎最佳的权衡，同时给予集群恢复保证，我们测试他们在不同的数据集。另一方面，我们证明了信息理论界的查询数量，以保证规定的分歧界。这些结果给出了查询和聚类错误之间的权衡的丰富的表征。
2020-01-14 cs.LG stat.ML
Clustering Time-Series by a Novel Slope-Based Similarity Measure Considering Particle Swarm Optimization
Southern Methodist University（南卫理公会大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
由于时间序列在各个领域的广泛存在，近年来对时间序列数据采掘的研究越来越多，特别是时间序列聚类。时间序列形式的大量数据使得有必要采用诸如聚类的各种技术来理解数据并提取信息和隐藏模式。在聚类领域，特别是时间序列聚类中，最重要的方面是所使用的相似性度量和用于进行聚类的算法。在本文中，一个新的相似性度量的时间序列聚类的基础上开发的一个简单的时间序列表示，斜率的时间序列的每一段，欧氏距离和所谓的动态时间弯曲的组合。本文证明了所提出的距离度量是度量的，从而可以应用索引。对于聚类任务，采用粒子群优化算法。建议的相似性度量进行比较，现有的三种措施，用于评估聚类算法的各种标准。结果表明，该方法在几乎所有的数据集上都优于其他方法。
2019-12-05 cs.LG cs.NE stat.ML
A cost function for similarity-based hierarchical clustering
由于缺乏精确的目标函数，层次聚类算法的发展一直受到阻碍。为了帮助解决这种情况，我们在一组点上的层次结构上引入一个简单的成本函数，给定这些点之间的成对相似性。我们表明，这一标准的行为在典型的情况下，它承认一个自上而下的建设过程，具有可证明的良好的近似比。
2015-10-16 cs.DS cs.LG stat.ML
Clustering with Jointly Learned Nonlinear Transforms Over Discriminating Min-Max Similarity/Dissimilarity Assignment
Department of Computer Science, University of Geneva（日内瓦大学计算机科学系）
本文提出了一种新的聚类概念，这是基于联合学习的非线性变换（NT）与先验的信息损失和歧视。我们引入了一个聚类原则，是基于一个参数的最小-最大值的判别前测量的评价。先验度量的分解允许将分配分解为两个步骤。在第一步中，我们将NT应用于数据点，以产生候选NT表示。在第二步中，我们通过评估候选NT表示的参数测量来执行实际分配。图像聚类任务的数值实验验证了所提出的方法的潜力。评价显示出的优势相比，国家的最先进的聚类方法。
2019-01-30 cs.LG stat.ML
Similarity Kernel and Clustering via Random Projection Forests
University of Massachusetts Dartmouth（马萨诸塞大学达特茅斯分校）；Linkedin Inc（领英公司）；Indigo Agriculture Inc（靛蓝农业公司）；DiDi Research America（滴滴美国研究院）
相似性在数据采掘、机器学习、统计学等许多应用领域都起着重要的作用。受集成方法的成功和树的灵活性的启发，我们提出通过随机投影森林（rpForests）学习一个称为rpf-kernel的相似性内核。我们的理论分析揭示了rpf内核的一个非常理想的属性：远（不相似）点具有低相似性值，而近（相似）点具有高相似性，并且相似性具有原生解释，即在rpForests的生长过程中，点保留在相同叶节点中的概率。学习的rpf核导致了一个有效的聚类算法-rpfCluster。在各种各样的真实和基准数据集上，rpfCluster与K-means聚类，谱聚类和最先进的聚类集成算法-Cluster Forests相比毫不逊色。我们的方法是简单的实现和容易适应的几何基础数据。鉴于其理想的理论属性和竞争力的经验性能时，应用于聚类，我们期望rpf核适用于许多问题的无监督性质或作为正则化在一些监督或弱监督设置。
2019-08-28 cs.LG stat.ME stat.ML
Overlapping clustering based on kernel similarity metric
Larodec, ISG University of Tunis（突尼斯ISG大学Larodec）；Ceremade, Université Paris-Dauphine（巴黎第九大学Ceremade）
产生重叠方案是集群中的一个主要问题。最近提出的重叠方法依赖于最佳覆盖的搜索，并基于不同的度量，如欧几里得距离和I-Divergence，用于测量观测之间的接近度。在本文中，我们提出了另一种基于核相似性度量的重叠聚类方法，并利用Gram矩阵估计重叠聚类的个数。在Iris和EachMovie数据集上的实验结果表明，基于核相似性度量的聚类数估计方法是正确的，并且提高了重叠聚类的查准率、查全率和f-measure。
2012-11-29 cs.LG stat.ME stat.ML
CUR Decompositions, Similarity Matrices, and Subspace Clustering
本文提出了一种利用CUR分解解决子空间聚类问题的通用框架，通过构造相似矩阵实现无噪声情况下的精确聚类，并展示了如何通过CUR分解生成多种相似矩阵以处理噪声数据，同时推导出两种已知的子空间聚类方法。
2018-12-11 cs.CV cs.LG cs.NA
Determining Optimal Number of k-Clusters based on Predefined Level-of-Similarity
Jawaharlal Nehru University（贾瓦哈拉尔·尼赫鲁大学）；School of Computer and Systems Sciences（计算机与系统科学学院）
本文提出了一种基于质心的聚类算法，它能够聚类数据点的n-特征，而不必指定要形成的簇的数量。该算法的核心逻辑是一个相似性度量，它共同决定是否将一个传入的数据点分配给一个预先存在的聚类，或者创建一个新的聚类并将数据点分配给它。所提出的聚类算法是特定于应用的，并且适用于需要对一个数据点流进行聚类分析时，其中输入数据点和该数据点要关联到的聚类之间的相似性度量大于预定义的相似性级别。
2019-07-21 cs.LG stat.ML
Clustering validity based on the most similarity
许多研究的一个基本要求是必须对数据进行分类。聚类是一种用于总结网络的建议方法。聚类方法可以分为基于模型的方法和算法方法两大类。由于大多数聚类方法依赖于其输入参数，因此，重要的是评估不同输入参数的聚类算法的结果，以选择最合适的一个。有几个聚类有效性技术的基础上的内密度和外密度的集群，代表不同的度量，以选择最合适的聚类独立的输入参数。根据以前的方法对输入参数的依赖性，面对大型系统的一个挑战是逐步完成数据，影响最合适的聚类的最终选择。这些方法定义了一个类中是否存在高强度，不同类之间是否存在低强度作为选择最优聚类的度量。这一措施有一个巨大的问题，在第一阶段没有利用所有数据。在本文中，我们介绍了一个有效的措施，其中的最大数量的重复不同的初始值发生。
2013-02-16 cs.LG stat.ML
Random Models for Fuzzy Clustering Similarity Measures
University of British Columbia – Okanagan Campus（不列颠哥伦比亚大学奥肯那根校区）
针对调整兰德指数（ARI）在模糊聚类中随机模型假设难证明的问题，提出含三种直观可解释随机模型的单一框架，降低计算复杂度，经实验验证模型选择对结果可靠性很重要。
2023-12-16 cs.LG stat.ML
LSTM based Similarity Measurement with Spectral Clustering for Speaker Diarization
Duke Kunshan University（昆山杜克大学）；Sun Yat-sen University（中山大学）；LIMSI（法国计算机科学与自动化研究所）；CNRS（法国国家科学研究中心）；Univ. Paris-Sud（巴黎第十一大学）
越来越多的神经网络方法在说话人分类系统的子模块上取得了很大的进步，包括说话人变化检测和分段说话人嵌入提取。然而，在聚类阶段，像概率线性判别分析（PLDA）的传统算法被广泛用于评分两个语音段之间的相似性。在本文中，我们提出了一种有监督的方法来测量具有顺序双向长短期记忆网络（Bi-LSTM）的音频记录的所有片段之间的相似性矩阵。谱聚类应用于相似性矩阵的顶部，以进一步提高性能。实验结果表明，我们的系统显着优于国家的最先进的方法，并实现了6.63%的NIST SRE 2000 CALLHOME数据库上的日志错误率。
2019-07-23 cs.LG cs.SD eess.AS
Clustering with Similarity Preserving
University of Electronic Science and Technology of China（电子科技大学）；University of Pennsylvania（宾夕法尼亚大学）；Institute for Infocomm Research, A*Star（新加坡科技研究局资讯通信研究院）
基于图的聚类在许多任务中表现出良好的性能。基于图的方法的一个关键步骤是相似图的构造。一般来说，核空间中的学习图由于引入了非线性，可以提高聚类精度。然而，大多数现有的基于核的图学习机制不是相似性保持的，因此导致次优性能。为了克服这个缺点，我们提出了一个更具鉴别力的图学习方法，它可以保持样本之间的成对相似性，在自适应的方式为第一次。具体来说，我们要求学习的图接近核矩阵，这是原始数据相似性的度量。此外，该结构是自适应调整，使图的连接组件的数量是完全等于集群的数量。最后，我们的方法结合聚类和图学习，可以直接从图本身获得聚类指标，而无需执行进一步的聚类步骤。在几个数据集上的单个和多个内核学习场景中检查了这种方法的有效性。
2019-05-21 cs.AI cs.CV cs.LG
Fuzzy Clustering with Similarity Queries
Tel Aviv University（特拉维夫大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
模糊或软$k$ -均值目标是众所周知的$k$ -均值问题的流行推广，将$k$ -均值的聚类能力扩展到不确定、模糊和难以聚类的数据集。在本文中，我们提出了一个半监督主动聚类框架，允许学习者与Oracle（领域专家）交互，询问某组所选项目之间的相似性。在此框架下，我们研究了聚类的查询和计算复杂性。我们证明，有几个这样的相似性查询，使人们能够得到一个多项式时间的近似算法，以其他形式的NP难问题。特别是，我们提供了模糊聚类算法，在这种设置，要求$O(\mathsf{poly}(k)\log n)$相似性查询和多项式时间复杂度，其中$n$是项目的数量运行。模糊$k$ -均值目标是非凸的，其中$k$ -均值目标是一个特殊情况，它等价于非负矩阵分解等一般非凸问题.无处不在的最小化算法（或交替最小化算法）可能会陷入局部最小值。我们的研究结果表明，通过一些相似性查询，问题变得更容易解决。最后，我们在真实世界的数据集上测试了我们的算法，显示了它们在真实世界应用中的有效性。
2021-11-04 cs.DS cs.LG stat.ML
Learning Generative Models of Similarity Matrices
University of Toronto（多伦多大学）
我们描述了一个概率（生成）视图的亲和矩阵以及推理算法与数据聚类相关的问题的一个子类。这种概率视图有助于理解基于数据的亲和函数的不同模型和算法。特别地，我们展示了一个特定概率模型的（贪婪）推理是如何等价于谱聚类算法的，它也为开发新的算法和扩展模型提供了一个框架。作为一种情况下，我们提出了新的生成数据聚类模型，使我们能够推断出适合手头的聚类问题的基本距离度量。这些模型似乎在更大的一类问题中表现良好，而其他聚类算法（包括谱聚类）通常会失败。在多个点数据集上进行了实验评估，表现出良好的性能。
2012-10-19 cs.LG stat.ML
On the clustering of correlated random variables
Warsaw School of Computer Science（华沙计算机学院）
在这项工作中，聚类相关的随机变量的可能性进行了检查，因为它们的相互相似性，因为它们的相似性的主成分。聚类采用k-means算法和谱算法。对于光谱方法，相似性矩阵既是建立在相关水平上的关系矩阵，也是决定系数矩阵。针对4组不同的数据，分析了不同的变量差异性度量方法，并分析了初始点的差异性对k-means算法效率的影响。
2019-09-07 cs.LG stat.ML
Point-Set Kernel Clustering
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术全国重点实验室）；School of Information Technology, Deakin University（迪肯大学信息技术学院）
度量两个对象之间的相似性是现有聚类算法的核心操作，用于将相似的对象分组到类中。本文介绍了一种新的相似性度量称为点集核，它计算一个对象和一组对象之间的相似性。建议的聚类过程利用这种新的措施来表征每个集群从一个种子对象。我们表明，新的聚类过程是有效的和高效的，使其能够处理大规模的数据集。相比之下，现有的聚类算法要么是高效的，要么是有效的。与最先进的密度峰值聚类和可扩展的核k均值聚类相比，我们表明，该算法是更有效的，运行速度的数量级更快时，适用于数百万个数据点的数据集，在常用的计算机上。
2022-01-06 cs.LG stat.ML
Nonlinear Markov Clustering by Minimum Curvilinear Sparse Similarity
基于非线性聚类的无监督模式识别算法的研究是数据科学中的一个重要问题。马尔可夫聚类（MCL）是一个著名的算法，它模拟样本相似性网络上的随机流，以检测数据中簇的结构组织，但它从来没有被推广到处理数据的非线性。最小曲线线性（MC）是一种用曲线距离来近似高维特征空间中的非线性样本距离的原则，曲线距离被计算为其最小生成树上的横向路径，然后存储在核中。在这里，我们提出了MC-MCL，这是第一个非线性内核扩展的MCL，并利用最小曲线性，以提高性能的真实和合成数据与潜在的非线性模式的MCL。将MC-MCL与DBSCAN、K-means和affinity propagation等基本聚类方法进行了比较。我们发现，最小Curvilinearity提供了一个有价值的框架，估计非线性距离时，其内核与MCL相结合。事实上，MC-MCL克服了经典的MCL，甚至基线聚类算法在不同的非线性数据集。
2019-12-27 cs.LG stat.ML
Mixture-of-Experts Variational Autoencoder for Clustering and Generating from Similarity-Based Representations on Single Cell Data
ETH Zürich（苏黎世联邦理工学院）；Life Science Graduate School Zurich（苏黎世生命科学研究生院）；Swiss Institute of Bioinformatics（瑞士生物信息学研究所）；University of Tübingen（图宾根大学）
聚类高维数据，如图像或生物测量，是一个长期存在的问题，并已被广泛研究。最近，深度聚类由于其在适应复杂数据的特定特性方面的灵活性而受到欢迎。本文介绍了一种新的生成式聚类模型MoE-Sim-VAE（混合专家模型Similarity变分自编码器），该模型能够学习高维数据的多模态分布，并利用这些分布高效地生成真实数据。MoE-Sim-VAE基于变分自编码器（VAE），其中解码器由混合专家模型（MoE）架构组成。这种特定的架构允许通过专家自动学习数据的各种模式。此外，我们鼓励我们模型的低维潜在表示遵循高斯混合分布，并准确表示数据点之间的相似性。我们评估了我们的模型在MNIST基准数据集上的性能，并挑战了从单细胞RNA测序测量中聚类小鼠器官和从数百个不同数据集上的质谱仪（CyTOF）测量中定义细胞亚群的现实任务。与基线以及竞争对手的方法相比，MoE-Sim-VAE在所有这些任务上都表现出卓越的聚类性能。
2020-12-18 cs.LG stat.ML
Unsupervised Feature Selection based on Adaptive Similarity Learning and Subspace Clustering
University of Tehran（德黑兰大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
特征选择方法对提高数据的可读性和降低学习算法的复杂度具有重要作用。近年来，由于在大数据集上的标记任务繁重，基于无监督观点的特征选择问题得到了各种各样的研究。本文提出了一种基于子空间聚类的无监督特征选择新方法，通过对样本间低维子空间的表示学习来保持样本间的相似性。一个自我表达的模型是采用隐式学习的聚类相似性的自适应方式。该方法不仅通过子空间聚类来保持样本的相似性，而且还基于正则化回归模型来捕获判别信息。在基准数据集上的实验结果表明，与现有的方法相比，我们的方法的有效性与所提出的方法的收敛性分析。
2019-12-10 cs.LG stat.ML
Ensemble Clustering with Logic Rules
本文将有监督学习的逻辑规则集成方法应用于无监督或半监督聚类。通过组合简单的合取规则得到的逻辑规则被用来划分输入空间，这些规则的集合被用来定义一个相似矩阵。相似性划分用于以分层方式划分数据。我们已经使用内部和外部的集群有效性的措施，以评估集群的质量或确定集群的数量。
2012-11-15 cs.LG stat.ML
Multiway clustering of 3-order tensor via affinity matrix
LIPN, UMR CNRS 7030（法国国家科学研究中心计算机科学与信号处理实验室（UMR 7030））；Sorbonne Paris Nord University（索邦巴黎北大学）；DAVID Lab（DAVID实验室）；University of Versailles（凡尔赛大学）；Université Paris-Saclay（巴黎萨克雷大学）
提出了一种基于亲和矩阵的三阶张量多路聚类方法。基于张量切片之间的相似性和每个切片的信息传播的概念，我们的模型建立了一个亲和性/相似性矩阵，我们应用先进的聚类方法。三种模式的所有集群的组合提供了所需的多路集群。最后，MCAM取得了竞争力的结果与其他已知的算法在合成和真实的数据集。
2023-03-14 cs.LG stat.ML
Conformal Prediction based Spectral Clustering
Sri Sathya Sai Institute of Higher Learning（斯里·萨提亚·赛高等教育学院）
谱聚类是近年来一种重要的数据聚类技术，引起了研究者的广泛关注。它是一种高度数据驱动的方法，对要聚类的数据结构没有严格的假设。谱聚类的核心部分之一是基于数据点之间的相似性度量构建亲和矩阵。定义数据点之间的相似性度量的方式对SC技术的性能有直接影响。已经在加强成对相似性度量以增强谱聚类的方向上进行了几次尝试。在这项工作中，我们已经定义了一种新的亲和性措施，采用共形预测（CP）框架中使用的非一致性的概念。基于非一致性的亲和度捕获数据点的邻域之间的关系，并且具有概括上下文相似性的概念的能力。我们已经表明，这种制定的亲和性措施给出了良好的结果，并与最先进的方法。
2019-09-17 cs.CV cs.LG stat.ML
CAST: A Correlation-based Adaptive Spectral Clustering Algorithm on Multi-scale Data
The University of Hong Kong（香港大学）；Simon Fraser University（西蒙弗雷泽大学）
我们研究了应用谱聚类对多尺度数据进行聚类的问题，这些数据的聚类具有不同的大小和密度。传统的谱聚类技术通过处理反映对象接近程度的相似性矩阵来发现聚类。对于多尺度数据，基于距离的相似性是无效的，因为稀疏聚类的对象可能相距很远，而密集聚类的对象必须足够接近。继[16]之后，我们通过将对象的“可达性相似性”概念与给定的基于距离的相似性结合起来，推导出对象的系数矩阵，解决了多尺度数据的谱聚类问题。我们提出了CAST算法，该算法应用跟踪Lasso来正则化系数矩阵。我们证明了由此产生的系数矩阵具有“分组效应”，它具有“稀疏性”。我们表明，这两个特点意味着非常有效的谱聚类。我们评估CAST和其他10个聚类方法在广泛的数据集w.r.t.各种措施。实验结果表明，CAST提供了良好的性能，并在多尺度数据的测试情况下具有很高的鲁棒性。
2020-06-08 cs.AI cs.LG stat.ML
Kernel learning approaches for summarising and combining posterior similarity matrices
当使用马尔可夫链蒙特卡罗（MCMC）算法来执行贝叶斯聚类模型（例如混合模型）的推断时，输出通常是从后验分布中提取的聚类（分区）的样本。在实践中，一个关键的挑战是如何总结这一产出。在这里，我们建立后验相似性矩阵（PSM）的概念，以提出新的方法来总结贝叶斯聚类模型的MCMC算法的输出。我们的工作的一个关键贡献是观察到PSM是半正定的，因此可以用来定义概率动机的内核矩阵，捕获数据中存在的聚类结构。这一观察使我们能够采用一系列的核方法，以获得汇总聚类，否则利用PSM总结的信息。例如，如果我们有多个PSM，每个PSM对应于一组公共统计单元上的不同数据集，我们可以使用标准方法来组合内核，以便执行集成聚类。此外，我们可以将PSM嵌入预测内核模型中，以执行结果引导的数据集成。我们证明了所提出的方法的性能，通过一系列的模拟研究，以及两个真实的数据应用。R代码可在https://github.com/acabassi/combine-psms上获得。
2020-09-27 stat.ME stat.ML
Locally linear representation for image clustering
Sichuan University（四川大学）
在面向图的子空间学习和聚类中，相似图的构造是关键。在相似性图中，每个顶点表示一个数据点，边权重表示两个点之间的相似性。有两种流行的方案来构造相似性图，即，基于成对距离的方案和基于线性表示的方案。现有的大部分工程只涉及上述其中一个方案，并受到一定的限制。具体地，与基于线性表示的方法相比，基于成对距离的方法对噪声和离群值敏感。另一方面，存在基于线性表示的算法错误地选择子空间间点来表示点的可能性，这将降低性能。在本文中，我们提出了一种算法，称为局部线性表示（LLR），它集成了两两距离与线性表示在一起，以解决问题。该算法能够自动对一组点集上的每个数据点进行编码，这些点集不仅能够以较小的残差表示目标点，而且与欧氏空间中的点接近。实验结果表明，该方法在子空间学习和子空间聚类方面具有良好的应用前景。
2017-05-16 cs.LG stat.ML
Unifying Information-Theoretic and Pair-Counting Clustering Similarity
School of Data Science, University of Virginia（数据科学学院，弗吉尼亚大学）
本文通过加权展开和高阶扩展两个视角，统一了配对计数与信息论两类聚类相似性度量，揭示了它们之间的分析联系。
2026-06-02 cs.IT cs.LG math.IT
Graph-Based Approaches to Clustering Network-Constrained Trajectory Data
Télécom ParisTech（巴黎电信学院）；Université Paris I Panthéon-Sorbonne（巴黎第一大学先贤祠-索邦大学）
尽管聚类轨迹数据在过去几年中引起了相当大的关注，但大多数先前的工作假设移动对象可以在欧几里得空间中自由移动，并且没有考虑潜在道路网络的最终存在及其对评估轨迹之间相似性的影响。在本文中，我们提出了两种方法来聚类网络约束的轨迹数据。第一种方法发现沿着道路网络的相同部分行进的轨迹的集群。第二种方法是面向路段的，其目的是根据路段共有的轨迹将路段分组在一起。这两种方法都使用一个图模型来描述观察w.r.t.之间的相互作用。它们的相似性，并使用社区发现算法对该相似性图进行聚类。我们还提出了合成数据上获得的实验结果来展示我们的主张。
2012-10-02 cs.LG stat.ML
Regularized Non-negative Spectral Embedding for Clustering
Beihang University（北京航空航天大学）
谱聚类是一种将数据点分成组的流行技术，特别是对于复杂的数据集。谱聚类家族中的算法通常由多个单独的阶段组成（例如相似性矩阵构建，低维嵌入和作为后处理的K-Means聚类），由于不同阶段之间可能存在不匹配，因此可能导致次优结果。在本文中，我们提出了一个端到端的单阶段学习方法聚类称为正则化非负谱嵌入（RNSE），扩展了谱聚类与自适应学习的相似性矩阵，同时利用非负约束，以促进一步聚类（直接从数据点到聚类标签）。两个有充分根据的方法，连续交替投影和战略乘法更新，解决了相当具有挑战性的优化问题的RNSE。在合成数据集和真实数据集上进行的大量实验表明，RNSE的聚类性能优于一些最先进的竞争对手。
2019-11-01 cs.LG stat.ML
Comparing Graph Clusterings: Set partition measures vs. Graph-aware measures
The Tutte Institute for Mathematics and Computing（塔特数学与计算研究所）
在本文中，我们提出了一个家庭的图分区的相似性措施，考虑到图的拓扑结构。这些图形感知度量是使用不是专门为图形分区设计的集合分区相似性度量的替代方案。这两种类型的措施，图形感知和设置分区措施，示出具有相反的行为，相对于解决问题，并提供必要的补充信息，以评估两个图形分区是相似的。
2018-09-18 cs.LG stat.ML
Application of Structural Similarity Analysis of Visually Salient Areas and Hierarchical Clustering in the Screening of Similar Wireless Capsule Endoscopic Images
Chongqing Jinshan Science & Technology (Group) Co., Ltd.（重庆金山科技（集团）有限公司）
小肠胶囊内镜是检查小肠病变的主流方法，但单次小肠胶囊内镜会产生6万~ 12万张图像，其中大部分图像相似，没有诊断价值。医生需要2 - 3个小时才能从这些图像中识别病变。针对医生长时间关注大量相似图像容易产生视觉疲劳的问题，提出了一种基于结构相似性分析和视觉显著子图像块层次聚类的无线胶囊内窥镜（WCE）相似图像筛选方法。基于图像的色调、饱和度、明度（HSV）空间颜色特征，通过层次聚类自动识别图像的相似性聚类，并基于视觉显著子图像块的结构相似性提取关键帧图像，从而准确识别和筛选出相似的小肠囊内窥镜图像。将该方法应用于胶囊内窥镜成像工作站。在I型小肠胶囊内镜收集的完整数据中筛选出相似图像后，我们获得了100%的病变召回率和76%的平均相似图像减少率。在筛选出类似图像的情况下，OMOM图像工作站的平均播放时间为18分钟，大大减少了医生查看图像的时间。
2020-04-01 cs.CV cs.LG eess.IV
Robust Task Clustering for Deep Many-Task Learning
IBM Research（IBM研究院）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们研究了多任务环境下基于深度学习的多任务和少样本学习的任务聚类。针对深度学习场景，提出了一种新的任务相似性度量方法--跨任务迁移性能矩阵。虽然这个矩阵为我们提供了关键的信息，任务之间的相似性，其不对称的属性和不可靠的性能分数会影响传统的聚类方法不利。此外，不确定的任务对，即，具有极不对称的转移分数的那些可能共同地误导聚类算法以输出不准确的任务划分。为了克服这些局限性，我们提出了一种新的任务聚类算法，通过使用矩阵完成技术。该算法根据任务对聚类成员的确定性，构造了一个部分可观察的相似性矩阵。然后，我们使用矩阵完成算法来完成相似性矩阵。我们的理论分析表明，在温和的约束条件下，该算法将完美地恢复潜在的“真正的”相似性矩阵的概率很高。我们的研究结果表明，新的任务聚类方法可以发现任务集群，用于训练灵活和优越的神经网络模型，在多任务学习设置的情感分类和对话意图分类任务。我们的任务聚类方法还扩展了基于度量的少样本学习方法，以适应多个度量，这表明了经验优势，当任务是不同的。
2018-05-18 cs.AI cs.CL cs.LG
Scalable Spectral Clustering Using Random Binning Features
IBM Research AI（IBM研究院人工智能部门）；Carnegie Mellon University（卡内基梅隆大学）；College of William and Mary（威廉与玛丽学院）；Huawei Research（华为研究院）
谱聚类是最有效的聚类方法之一，它可以捕捉数据中隐藏的聚类结构。然而，它不能很好地扩展到大规模的问题，由于其在构建相似图和计算随后的特征分解的二次复杂性。虽然已经提出了一些方法来加速谱聚类，其中大多数妥协相当大的信息损失的原始数据，以减少计算瓶颈。在本文中，我们提出了一种新的可扩展的谱聚类方法，使用随机装箱功能（RB），同时加快相似图的建设和特征分解。具体来说，我们隐式地近似的图形相似性（内核）矩阵的内积由RB生成的大型稀疏特征矩阵。然后，我们引入了一个国家的最先进的SVD求解器，有效地计算这个大矩阵的谱聚类的特征向量。使用这两个构建块，我们将计算成本从数据点数量的二次降低到线性，同时实现类似的精度。我们的理论分析表明，通过RB的谱聚类比标准的随机特征近似更快地收敛到精确的谱聚类。在8个基准测试上的实验表明，该方法在准确性和运行时间上都优于或匹配最先进的方法。此外，我们的方法在数据样本的数量和RB特征的数量方面都具有线性可扩展性。
2019-11-25 cs.LG stat.ML
Approximate spectral clustering using both reference vectors and topology of the network generated by growing neural gas
Komatsu University（小松大学）；University of Electro-Communications（电气通信大学）
谱聚类（SC）是最流行的聚类方法之一，往往优于传统的聚类方法。SC使用从数据集的相似性矩阵计算的拉普拉斯矩阵的特征向量。SC有严重的缺点：从特征向量的计算导出的时间复杂度和存储相似性矩阵的存储器空间复杂度的显著增加。为了解决这个问题，我开发了一个新的近似谱聚类使用的网络生成的神经气体（GNG），在这项研究中称为ASC与GNG。具有GNG的ASC不仅使用参考矢量进行矢量量化，而且还使用网络的拓扑结构来提取数据集中数据点之间的拓扑关系。具有GNG的ASC从参考向量和由GNG生成的网络的拓扑计算相似性矩阵。基于GNG的自适应聚类算法利用GNG生成的网络，降低了计算复杂度和空间复杂度，提高了聚类质量。在这项研究中，我证明了ASC与GNG有效地减少了计算时间。此外，这项研究表明，ASC与GNG提供相等或更好的聚类性能比SC。
2021-08-12 cs.LG cs.NE stat.ML
Near-Optimal Comparison Based Clustering
Univ Lyon（里昂大学）；UJM-Saint-Etienne（圣艾蒂安大学）；CNRS（法国国家科学研究中心）；IOGS（里昂高等师范学院）；LabHC UMR 5516（人类与计算机交互实验室）；Technical University of Munich（慕尼黑工业大学）
聚类的目标是将相似的对象分组到有意义的分区中。当给出对象之间的显式相似性度量时，这个过程很好理解。然而，当这些信息不容易获得时，我们所知道的要少得多，相反，我们只观察到序数比较，例如“对象i与j比与k更相似”。在本文中，我们使用两步程序来解决这个问题：在使用基于半定规划（SDP）的聚类方法之前，我们从比较中估计成对相似性矩阵。我们从理论上表明，我们的方法可以使用接近最佳数量的被动比较来精确地恢复种植聚类。我们从经验上验证了我们的理论研究结果，并证明了我们的方法在真实数据上的良好行为。
2020-10-09 cs.LG stat.ML
Clustering Alzheimer's Disease Subtypes via Similarity Learning and Graph Diffusion
Perelman School of Medicine, University of Pennsylvania（宾夕法尼亚大学佩雷尔曼医学院）；AGH University of Science and Technology（AGH科技大学）
本研究针对阿尔茨海默病的异质性难题，采用SIMLR多内核相似性学习框架结合图扩散的无监督聚类方法，对829名患者的MRI皮层厚度数据分型，识别出5种临床特征差异显著的亚型并验证了其遗传基础。
2024-10-04 cs.CV cs.LG eess.IV
Spectral Perturbation Meets Incomplete Multi-view Data
Southwest Jiaotong University（西南交通大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Dalian University of Technology（大连理工大学）
在已有的多视图聚类方法的基础上，本文研究了一种更为现实的聚类场景--不完全多视图聚类，即在某些视图中丢失了大量的数据实例。为了解决这个问题，我们研究了谱微扰理论。在这项工作中，我们表明了扰动风险边界和不完全多视图聚类之间的强联系。由于谱聚类中的相似度矩阵是一个数量级为O（1）的有界量，因此我们将数据缺失问题转化为相似度问题，并针对不完全相似度矩阵设计了一种矩阵补全方法.此外，我们还证明了最小化不同视图之间的扰动风险边界可以最大化所有视图的最终融合结果。这为多视图数据提供了可靠的融合标准。提出了一种面向扰动的不完全多视图聚类（PIC）方法.通过仿真和实测数据处理验证了所提方法的有效性。
2019-05-31 cs.AI cs.LG stat.ML
A Short Survey on Data Clustering Algorithms
City University of Hong Kong（香港城市大学）
随着数据的快速增长，聚类算法是现代研究中数据分析的重要工具。它们已经成功地应用于广泛的领域;例如，生物信息学、语音识别和金融分析。从形式上讲，给定一组数据实例，聚类算法预期将数据实例集划分为最大化子集内相似性和子集间相异性的子集，其中预先定义相似性度量。在这项工作中，国家的最先进的聚类算法从设计概念到方法进行了审查，不同的聚类范式进行了讨论。先进的聚类算法进行了讨论。在此基础上，对现有的聚类评价指标进行了综述。最后提供了一个总结和未来的见解。
2015-11-25 cs.CV cs.DS cs.LG
Spectral Clustering with Smooth Tiny Clusters
Peking University（北京大学）
谱聚类是最重要的聚类方法之一。基于距离的相似性是谱聚类中应用最广泛的方法。然而，人们已经注意到，这不适合多尺度数据，因为对于不同密度的集群，距离变化很大。现有技术（ROSC和CAST）通过考虑对象的可达性相似性来解决该限制。然而，我们观察到，在现实世界的场景中，同一个集群中的数据往往以平滑的方式呈现，而以前的算法从未考虑到这一点。在此基础上，提出了一种新的聚类算法，该算法首次考虑了数据的平滑性。我们首先把物体分成许多小的簇。我们的核心思想是聚类微小的集群，其中心构成光滑的图形。理论分析和实验结果表明，本文提出的聚类算法在性能上明显优于现有的聚类算法。虽然本文只针对多尺度情况，但数据平滑的思想可以推广到任何聚类算法中
2020-09-10 cs.LG stat.ML
Discrete Optimal Graph Clustering
Shandong Normal University（山东师范大学）；Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院））；Shandong Computer Science Center (National Supercomputer Center in Jinan)（山东计算机科学中心（国家超级计算济南中心））；Shandong Artificial Intelligence Institute（山东人工智能研究院）；University of Electronic Science and Technology of China（电子科技大学）；San Diego State University（圣地亚哥州立大学）
基于图的聚类是聚类的主要方法之一。大部分工作在三个独立的步骤：相似性图的构建，聚类标签松弛和标签离散化与k-means。这种常见的做法有三个缺点：1）预定义的相似性图通常是固定的，并且对于后续聚类可能不是最佳的。2)聚类标记的松弛过程可能导致显著的信息丢失。3)标签离散化可能偏离真实的聚类结果，因为k均值对聚类质心的初始化敏感。为了解决这些问题，在本文中，我们提出了一个有效的离散最优图聚类（DOGC）框架。一个结构化的相似性图，理论上是最佳的聚类性能自适应学习的指导下，合理的排名约束。此外，为了避免信息丢失，我们显式地对中间连续标签进行离散变换，从而导出具有离散解的易处理的优化问题。此外，为了补偿学习标签的不可靠性并提高聚类精度，我们设计了一个自适应鲁棒模块，该模块基于学习的离散聚类标签学习未知数据的预测函数。最后，一个迭代优化策略的收敛性保证发展直接解决聚类结果。在真实和合成数据集上进行的大量实验表明，与几种最先进的聚类方法相比，我们提出的方法具有优越性。
2019-04-25 cs.IR cs.LG stat.ML
Consistency of Constrained Spectral Clustering under Graph Induced Fair Planted Partitions
IBM Research（IBM研究院）；Indian Institute of Science（印度科学学院）
谱聚类在实践者和理论家中都很受欢迎。虽然谱聚类的性能保证是很好理解的，但最近的研究集中在集群中执行“公平性”，要求它们相对于分类敏感节点属性（例如，集群中的种族分布必须匹配种群中的种族分布）进行“平衡”。在本文中，我们考虑一个设置敏感属性间接体现在一个辅助\textit{representation graph}，而不是直接观察。该图指定可以相对于敏感属性彼此表示的节点对，并且除了通常的\textit{similarity graph}之外还观察到该节点对。我们的目标是在相似性图中找到聚类，同时尊重由表示图编码的新的个人级公平性约束。我们为此任务开发了非规范化和规范化谱聚类的变体，并在由表示图诱导的\emph{fair}种植分区模型下分析了它们的性能。该模型使用节点的簇成员关系和表示图的结构来生成随机相似图。据我们所知，这些是第一个一致性结果约束谱聚类下的个人水平的公平性约束。数值结果证实了我们的理论研究结果。
2022-09-24 cs.CY cs.LG stat.ML
Feature Trajectory Dynamic Time Warping for Clustering of Speech Segments
University of Stellenbosch（斯泰伦博斯大学）
动态时间规整（DTW）可以用于计算通常不同长度的两个序列之间的相似性。我们提出了一个修改DTW，执行个人和独立的成对对齐的特征轨迹。修改后的技术，称为特征轨迹动态时间规整（FTDTW），适用于作为一个相似性度量的凝聚层次聚类的语音段。实验使用MFCC和PLP parametrisations提取TIMIT和阿拉伯语数字口语数据集（SADD）的F-措施和归一化互信息（NMI）的质量得到的集群一致和统计上显着的改善。
2018-10-30 cs.LG cs.SD eess.AS
Scalable Spectral Clustering with Nystrom Approximation: Practical and Theoretical Aspects
University of Massachusetts, Lowell（马萨诸塞大学洛厄尔分校）
谱聚类技术是信号处理和机器学习中用于划分复杂数据集的有价值的工具。谱聚类的有效性源于基于创建相似图和计算拉普拉斯矩阵的谱分解来构造非线性嵌入。然而，谱聚类方法无法扩展到大的数据集，因为高的计算成本和内存使用。解决这些问题的一种流行方法是利用Nystrom方法，这是一种有效的基于采样的算法，用于计算大型半正定矩阵的低秩近似。本文演示了以前流行的基于Nystrom的谱聚类方法有严重的局限性。现有的时间有效的方法忽略了重要的信息，过早地减少与采样点的相似性矩阵的秩。此外，目前的理解是有限的，关于如何利用Nystrom近似将影响频谱嵌入近似的质量。为了解决这些限制，这项工作提出了一个原则性的谱聚类算法，利用频谱特性的相似性矩阵与采样点调节精度效率的权衡。我们提供了理论结果，以减少目前的差距和数值实验与实际和合成数据。实验结果表明，该方法的有效性和效率相比，现有的谱聚类技术的基础上Nystrom方法和其他有效的方法。这项工作的总体目标是为未来的研究方向提供一个改进的基线，以加速谱聚类。
2021-01-31 cs.CV cs.LG stat.ML
Query Complexity of Clustering with Side Information
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
假设，我们有一组$n$元素要被聚类到$k$（未知）簇中，以及一个oracle/expert标签器，它可以交互式地回答以下形式的成对查询：“两个元素$u$和$v$属于同一簇吗？”".我们的目标是通过询问最少数量的查询来恢复最佳聚类。在本文中，我们发起了一个严格的理论研究这个基本问题的查询复杂性的交互式聚类，并提供了强大的信息理论的下限，以及几乎匹配的上限。大多数聚类问题都有一个相似性矩阵，它被自动化过程用来将相似的点聚类在一起。我们在本文中的主要贡献是显示戏剧性的权力边信息又名相似性矩阵上降低查询复杂性的聚类。相似性矩阵表示噪声成对关系，例如由元素属性上的某个函数计算的关系。自然噪声模型是其中相似性值在底层元素对属于同一聚类时独立于某个任意概率分布$f_+$而得出，否则独立于某个$f_-$而得出。我们表明，给定这样的相似性矩阵，查询的复杂性大大降低从$Θ(nk)$（没有相似性矩阵）到$O(\frac{k^2\log{n}}{\cH^2(f_+\|f_-)})$，其中$\cH^2$表示平方海林格分歧。此外，这在$O(\log{n})$因子内也是信息论最优的。我们的算法都是有效的，和参数自由，即，它们在不了解$k, f_+$和$f_-$的情况下工作，并且仅仅在数学上依赖于$n$。在此过程中，我们的工作还揭示了与流行的社区检测模型（如{ \em随机块模型}）的有趣联系，显着地推广了它们，并…
2017-06-23 cs.DS cs.IT cs.LG
Multilayer hypergraph clustering using the aggregate similarity matrix
针对多层d-均匀HSBM的社群恢复问题，提出基于聚合超边计数相似性矩阵的SDP方法，并给出同配与异配情形下精确恢复的信息论参数条件。
2023-11-03 cs.IT math.IT math.PR
Structured Inverted-File k-Means Clustering for High-Dimensional Sparse Data
NTT Communication Science Laboratories（NTT通信科学实验室）；Kanagawa University（神奈川大学）
针对大规模高维稀疏数据集，提出了一种结构友好的k均值聚类算法SIVF。算法在时间上的效率通常由诸如相似性计算之类的高成本操作的数量来衡量。然而，在实践中，它在很大程度上取决于该算法如何适应的计算机系统的架构，它是executedon.We建议SIVF采用不变的基于质心对的过滤器（ICP），以减少数据对象和质心的所有集群之间的相似性计算的数量。为了最大限度地提高ICP性能，SIVF利用一个质心集的一个倒置的文件，结构，以减少管道的危险。我们证明在我们的实验中，真正的大规模文档数据集，SIVF操作速度更高，内存消耗比现有的算法。我们的性能分析表明，SIVF实现了更高的速度，通过抑制性能下降的因素，而不是更少的相似性计算的高速缓存未命中和分支误预测的数量。
2021-03-30 cs.AR cs.LG stat.ML
