Scalable Varied-Density Clustering via Graph Propagation
针对高维数据变密度聚类问题,提出将其作为邻域图中标签传播过程的新视角,引入密度感知邻域传播算法并结合随机投影方法构建近似邻域图,在降计算成本同时保持聚类质量,处理大数据集效率高且准确率有竞争力。
2026-07-13 cs.LG
Topology-Driven Clustering: Enhancing Performance with Betti Number Filtration
Electronics and Communication Sciences Unit, Indian Statistical Institute, Kolkata, India(印度统计研究所电子与通信科学单位,加尔各答,印度)
针对复杂几何结构数据集聚类难题,提出贝蒂数过滤拓扑聚类算法(BFTC),通过构建局部Vietoris-Rips过滤计算贝蒂数形成贝蒂序列,比较相邻点贝蒂序列构建拓扑感知结构,经谱聚类获最终聚类,性能优于现有方法。
2026-07-22 cs.LG
FeNeC: Enhancing Continual Learning via Feature Clustering with Neighbor- or Logit-Based Classification
Faculty of Mathematics and Computer Science Jagiellonian University(雅盖隆大学数学与计算机科学学院);Secondary School No 2 in Nowy Targ(新塔尔格第二中学);Upper-Secondary Schools of Communications in Cracow(克拉科夫高等通信学校)
针对深度学习模型的持续学习需求,提出FeNeC及其变体FeNeC-Log,通过数据聚类捕捉类内变异性,利用马氏距离实现邻居或对数似然分类,在任务身份未知场景中性能优异且在多基准上达SOTA。
2025-04-14 cs.LG
UMAP Is Spectral Clustering on the Fuzzy Nearest-Neighbor Graph
Frazer Institute, Faculty of Health, Medicine and Behavioural Sciences, The University of Queensland(弗拉泽研究所,健康、医学与行为科学学院,昆士兰大学)
本文证明UMAP在模糊最近邻图上执行谱聚类,将UMAP、对比学习和谱聚类统一于一个理论框架。
2026-02-12 cs.LG
Local and Global Structure Preservation Based Spectral Clustering
Tarbiat Modares University(塔比亚特·莫达雷斯大学)
谱聚类(SC)被广泛用于非线性流形上的数据聚类。SC的目标是通过考虑流形数据上局部邻域结构的保持来对数据进行聚类。本文将谱聚类扩展到基于局部和全局结构保持的谱聚类(LGPSC),它同时结合了全局结构和局部邻域结构。为此,LGPSC提出了两种将局部结构保持扩展到局部和全局结构保持的模型:谱聚类引导的主成分分析模型和多级模型。最后,我们比较了实验结果的国家的最先进的方法与我们的两个模型的LGPSC在各种数据集,实验结果证实了我们的LGPSC模型聚类非线性数据的有效性。
2022-10-23 cs.LG
CAESAR: Clustering via Autonomous Embedding-Space Agglomerative Reorganization
提出CAESAR方法,通过训练重组网络优化预训练嵌入空间,无需预设聚类数K,在文本和图像数据集上优于现有深度聚类方法。
2026-09-29 cs.LG
Clustering-Based Matrix Factorization
推荐系统是一种新兴的技术,现在可以在许多应用程序中找到,如亚马逊,Netflix等。这些系统帮助用户找到相关信息,推荐和他们喜欢的项目。这些分类器的准确性的稍微提高可以高度影响推荐的质量。矩阵分解是推荐系统中的一种流行方法,在准确性和复杂性方面都有很好的效果。在本文中,我们提出了一个扩展的矩阵分解,增加了一般的邻域信息的推荐模型。用户和项目被聚集到不同的类别中,以查看这些类别如何共享首选项。然后,我们使用这些类别的共同利益的融合偏置矩阵分解,以实现更准确的建议。这是对当前邻域感知矩阵分解模型的补充,该模型依赖于使用用户和项目的直接邻域信息。该模型在两个著名的推荐系统数据集上进行了测试:Movielens100k和Netflix。我们的实验表明,将类别的一般潜在特征应用到因子化推荐模型中可以提高推荐的准确性。目前的邻域感知模型需要大量的邻域才能达到良好的精度。据我们所知,所提出的模型是更好的或与当前的邻居感知模型相比,当他们考虑较少的邻居。
2013-08-01 cs.LG
Provable Noisy Sparse Subspace Clustering using Greedy Neighbor Selection: A Coherence-Based Perspective
稀疏子空间聚类(SSC)使用基于贪婪的邻居选择,如匹配追踪(MP)和正交匹配追踪(OMP),已被称为是一种流行的计算效率高的替代传统的基于L1最小化的方法。在确定性有界噪声腐败,在本文中,我们推导出基于相干性的充分条件,保证正确的邻居识别使用MP/OMP。我们的分析利用了两个噪声数据点之间的最大/最小内积受到一个已知的上限的噪声水平。所得到的充分条件清楚地揭示了噪声对基于贪婪的邻居恢复的影响。具体地说,它断言,只要噪声足够小,使得所得到的扰动残差向量保持接近所需的子空间,MP和OMP都成功地返回正确的邻居子集。一个惊人的发现是,当地面真值子空间彼此分离并且噪声不大时,基于MP的迭代在享受较低算法复杂度的同时,产生较小的残差扰动,从而能够更好地识别正确的邻居,进而实现更高的全局数据聚类精度。大量的数值实验被用来证实我们的理论研究。
2020-02-02 cs.LG stat.ML
SPINEX-Clustering: Similarity-based Predictions with Explainable Neighbors Exploration for Clustering Problems
Clemson University(克莱姆森大学);University of Manitoba(曼尼托巴大学)
本研究提出新型聚类算法SPINEX-Clustering,利用子空间高阶交互实现聚类,经51个多类型数据集基准测试,性能跻身前5且复杂度适中,兼具可解释性。
2024-07-09 cs.LG stat.ML
Nearest Neighbor Median Shift Clustering for Binary Data
University of Paris 13(巴黎第十三大学);Computer Science Laboratory of Paris North (LIPN, CNRS UMR 7030)(巴黎北部计算机科学实验室(法国国家科学研究中心混合研究单位7030))
本文描述了一种新的二进制数据模式聚类方法背后的理论和实践。我们的方法(BinNNMS)是基于最近邻中值偏移。中位数偏移是众所周知的均值偏移的扩展,均值偏移是为连续数据设计的,用于处理二进制数据。通过理论和实验分析,证明了BinNNMS能够准确地发现二进制数据中簇的位置。
2019-02-11 cs.AI cs.LG stat.ML
Utilization of Neighbor Information for Image Classification with Different Levels of Supervision
University of Maryland(马里兰大学)
提出UNIC框架,通过正负邻居采样清洗及邻居聚类损失微调骨干,并利用标签样本作为真值邻居,统一图像聚类与GCD,在多个基准上取得SOTA提升。
2025-03-18 cs.CV cs.LG
Multi-View Spectral Clustering with High-Order Optimal Neighborhood Laplacian Matrix
National University of Defense Technology(国防科技大学);Southwestern University of Finance and Economics(西南财经大学)
多视图谱聚类通过对学习到的最优嵌入进行聚类,可以有效地揭示数据间的内在聚类结构。现有的方法虽然在各种应用中表现出良好的性能,但大多数方法通常线性地组合一组预先指定的一阶拉普拉斯矩阵来构造最优拉普拉斯矩阵,这可能导致有限的表示能力和不充分的信息利用。此外,存储和实现对$n\times n$拉普拉斯矩阵的复杂运算会导致密集的存储和计算复杂度。为了解决这些问题,本文首先提出了一种多视图谱聚类算法,该算法学习高阶最优邻域拉普拉斯矩阵,然后将其扩展到后期融合版本,以实现准确高效的多视图聚类。具体来说,我们提出的算法产生的最佳拉普拉斯矩阵搜索的线性组合的邻域的一阶和高阶基拉普拉斯矩阵同时。通过这种方式,学习的最优拉普拉斯矩阵的代表能力得到增强,这有助于更好地利用数据之间隐藏的高阶连接信息,从而提高聚类性能。我们设计了一个有效的算法,证明了收敛性,以解决由此产生的优化问题。在9个数据集上的实验结果表明了该算法相对于现有算法的优越性,验证了该算法的有效性和优越性。
2020-08-31 cs.LG stat.ML
Doubly Stochastic Adaptive Neighbors Clustering via the Marcus Mapping
Northwestern Polytechnical University(西北工业大学);Institute of Artificial Intelligence (TeleAI), China Telecom(中国电信人工智能研究院(TeleAI))
该研究针对双随机相似性图学习难题,提出马库斯映射扩展定理,引入秩约束构建ANCMM算法,验证其聚类有效性并证明其与最优传输的关联。
2026-09-03 cs.AI cs.LG
TNStream: Applying Tightest Neighbors to Micro-Clusters to Define Multi-Density Clusters in Streaming Data
本文提出基于最紧密邻居和骨架集理论的完全在线流聚类算法TNStream,通过自适应半径和LSH解决多密度高维数据聚类问题,实验验证了其有效性。
2025-05-01 cs.AI cs.LG cs.NE
A Note on Graph-Based Nearest Neighbor Search
Donghua University(东华大学);University of New South Wales(新南威尔士大学);Tianjin University of Technology(天津理工大学)
最近邻搜索在机器学习、数据采掘和海量数据处理系统中有着广泛的应用。在过去的几年里,基于图的最近邻搜索范式的流行,因为它的优越性比空间划分算法。虽然大量的实证研究证明了基于图的算法的效率,但没有太多的注意力放在一个更基本的问题上:为什么基于图的算法在实践中工作得这么好?哪些数据属性会影响效率以及如何影响?在本文中,我们试图回答这些问题。我们的见解是,“点o的邻居倾向于成为KNN图中邻居的概率”是查询效率的关键数据属性。对于一个给定的数据集,这种性质可以定性地衡量KNN图的聚类系数。为了说明聚类系数如何影响性能,我们发现,而不是全局连接,一些给定的查询q周围的局部连接有更直接的影响召回。具体地说,我们观察到,高聚类系数使得q的k个最近邻的大部分位于图中的最大强连通分量(SCC)中。从算法的角度来看,我们表明,搜索过程实际上是由两个阶段-一个最大SCC外,另一个在它,这是不同于广泛接受的单路径或多路径搜索模型。我们证明了常用的基于图的搜索算法在访问最大SCC中的任何一点时都能遍历最大SCC,分析表明,聚类系数越高,最大SCC的大小越大,因此,两阶段搜索过程提供了良好的答案质量。广泛的实证结果在一个全面的收集数据集验证了我们的研究结果。
2020-12-21 cs.LG
Natural Hierarchical Cluster Analysis by Nearest Neighbors with Near-Linear Time Complexity
我们提出了一个基于最近邻的聚类算法,结果在一个自然定义的层次结构的集群。相反,凝聚和分裂的层次聚类算法,我们的方法是不依赖于迭代工作的算法,在这个意义上说,分区的层次聚类纯粹是根据输入数据集定义。我们的方法是一个通用的层次聚类方法,因为它可以实现为自自底向上的或自上而下的版本,这两种结果在相同的聚类。我们表明,对于某些类型的数据集,我们的算法具有接近线性的时间和空间复杂度。
2022-03-15 cs.DS cs.LG stat.ML
Clustering by Descending to the Nearest Neighbor in the Delaunay Graph Space
University of Electronic Science and Technology of China(电子科技大学)
在我们以前的工作中,我们提出了一个物理启发的规则,将数据点组织成一个入树(IT)结构,其中允许出现一些不需要的边缘。通过删除那些不需要的或冗余的边缘,这个IT结构被分成几个单独的部分,每个部分代表一个集群。在这项工作中,我们试图防止不需要的边缘从源头上出现。在使用物理启发规则之前,数据点首先被组织成一个邻近图,该图限制每个点仅在其邻居中选择最佳有向邻居。因此,分离的入树或聚类自动出现,而不需要去除冗余的边缘。
2015-02-16 cs.CV cs.LG stat.ML
Refining a $k$-nearest neighbor graph for a computationally efficient spectral clustering
The University of Sydney(悉尼大学)
谱聚类由于能够发现不同形状的簇而成为数据聚类的热门选择。然而,由于其计算需求,它并不总是优于其他聚类方法。绕过这些计算需求的有效方法之一是对点的子集(数据代表)执行谱聚类,然后概括聚类结果,这被称为近似谱聚类(ASC)。ASC使用抽样或量化来选择数据代表。这使得它容易受到1)性能不一致(因为这些方法在初始化或训练中具有随机步骤),2)局部统计丢失(因为成对相似性是从数据代表而不是数据点中提取的)。我们提出了一个改进版本的$k$ -最近邻图,在其中我们保持数据点,并积极减少计算效率的边缘数量。利用局部统计来保留不违反簇内距离的边,并使$k$ -最近邻图中的所有其他边无效。我们还引入了一个可选的步骤来自动选择集群的数量$C$。所提出的方法进行了测试合成和真实数据集。与ASC方法相比,所提出的方法提供了一致的性能,尽管显着减少的边缘。
2023-02-22 cs.AI cs.IR cs.LG
Clustering with Uniformity- and Neighbor-Based Random Geometric Graphs
Department of Mathematics and Statistics(数学与统计学系)
本文提出基于Cluster Catch Digraphs的聚类方法,通过引入基于最近邻距离的蒙特卡洛空间随机性检验,解决高维数据下的聚类问题,方法在中等维度数据中表现稳定且参数少。
2026-04-14 cs.LG stat.ME stat.ML
Nonparametric Nearest Neighbor Descent Clustering based on Delaunay Triangulation
University of Electronic Science and Technology of China(电子科技大学)
在我们的基于物理启发的in-tree(IT)聚类算法及其之后的系列中,只有一个自由参数参与计算每个点的潜在值。在这项工作中,基于Delaunay三角剖分或其对偶Voronoi曲面细分,我们提出了一个非参数的过程来计算潜在的价值观的局部信息。这种计算虽然是非参数的,但相对来说非常粗糙,因此会产生许多局部极值点。然而,与那些基于梯度的方法不同,我们基于IT的方法通常对这些局部极值不敏感。这积极地证明了这些参数(以前)和非参数(在这项工作中)基于IT的方法的优越性。
2015-03-18 cs.CV cs.LG stat.ML
Clustering by Deep Nearest Neighbor Descent (D-NND): A Density-based Parameter-Insensitive Clustering Method
University of Electronic Science and Technology of China(电子科技大学)
大多数基于密度的聚类方法在很大程度上依赖于对底层密度的估计。然而,密度估计本身也是一个具有挑战性的问题,尤其是核带宽的确定。大的带宽可能导致过平滑的密度估计,其中密度峰值的数量可能小于真实的聚类,而小的带宽可能导致欠平滑的密度估计,其中在估计的密度中将生成伪密度峰值,或称为“波纹噪声”。在本文中,我们提出了一种基于密度的层次聚类方法,称为深度最近邻下降(D-NND),它可以逐层学习底层的密度结构,同时捕获聚类结构。该方法可以避免过平滑密度估计,同时也可以减小欠估计情况的负面影响。总的来说,D-NND不仅表现出很强的发现潜在集群结构的能力,而且由于其对参数的不敏感性,具有显著的可靠性。
2015-12-07 cs.CV cs.LG stat.CO
Text Classification and Clustering with Annealing Soft Nearest Neighbor Loss
De La Salle University(德拉萨大学);College of Computer Studies(计算机研究学院)
我们将解纠缠定义为类不同的数据点彼此之间的距离,相对于类相似的数据点之间的距离。当在表示学习过程中最大化解纠缠时,我们获得了一个变换后的特征表示,其中保留了数据点的类成员资格。如果数据点的类成员关系被保留,我们将拥有一个特征表示空间,在该空间中,最近邻分类器或聚类算法将表现良好。我们利用这种方法来学习更好的自然语言表示,并将其用于文本分类和文本聚类任务。通过解纠缠,我们获得了具有更好定义的聚类的文本表示,并提高了文本分类性能。我们的方法在AG News数据集上的测试分类准确率高达90.11%,测试聚类准确率为88%,优于我们的基线模型-没有任何其他训练技巧或正则化。
2021-07-23 cs.CL cs.LG cs.NE
Robust nonparametric nearest neighbor random process clustering
ETH Zurich(苏黎世联邦理工学院)
我们考虑的问题,聚类噪声有限长度的观察平稳遍历随机过程根据其生成模型,而无需先验知识的模型统计和生成模型的数量。两种算法,都使用的$L^1$估计功率谱密度(PSD)之间的距离作为一种措施的相异性,进行了分析。第一个,称为最近邻过程聚类(NNPC),依赖于分区的最近邻图的观察,通过谱聚类。第二种算法,简称为$k$ -手段(KM),由一个单一的$k$ -手段迭代与最远点初始化,被认为是以前在文献中,虽然与不同的相异性措施。我们证明,这两种算法成功的概率很高,在存在噪声和丢失条目,甚至当生成过程的PSD重叠显着,所有的观察长度是足够大的。我们的研究结果量化了生成过程PSD的重叠,观察长度,丢失条目的分数和噪声方差之间的权衡。最后,我们提供了广泛的数值模拟结果的合成和真实的数据,发现NNPC优于国家的最先进的算法在人体运动序列聚类。
2017-09-28 cs.IT cs.LG math.IT
Nonparametric Nearest Neighbor Random Process Clustering
ETH Zurich(苏黎世联邦理工学院)
我们考虑的问题,聚类噪声有限长度的观察平稳遍历随机过程根据其非参数生成模型,没有先验知识的模型统计和生成模型的数量。两种算法,都使用估计功率谱密度(PSD)之间的L1距离作为一种措施的相异性,进行了分析。第一种算法,称为最近邻过程聚类(NNPC),据我们所知,是新的,并依赖于分区的最近邻图的观察,通过谱聚类。第二种算法,简称为k-均值(KM),由一个单一的k-均值迭代与最远点初始化,并被认为是在文献中,虽然有不同的措施相异性和渐近性能的结果。我们表明,NNPC和KM成功的概率高噪声下,即使当生成过程的PSD重叠显着,所有的观察长度是足够大的。我们的研究结果量化了生成过程PSD的重叠,噪声方差和观察长度之间的权衡。最后,我们提出了合成和真实数据的数值性能结果。
2015-04-20 cs.IT cs.LG math.IT
Contrast and Clustering: Learning Neighborhood Pair Representation for Source-free Domain Adaptation
Jiaxing University(嘉兴学院);Zhejiang Normal University(浙江师范大学);Zhejiang Sci-Tech University(浙江理工大学)
针对无源域数据的无监督域适应场景,本文从对比学习视角出发,通过最近邻聚类、扩展邻域构造难负样本对、结合噪声对比估计的方法学习域不变特征,在三个基准数据集上取得了优于现有最优方法的效果。
2023-12-13 cs.CV cs.LG
A Distributed and Approximated Nearest Neighbors Algorithm for an Efficient Large Scale Mean Shift Clustering
University of Paris 13(巴黎第十三大学)
在本文中,我们的目标是一类的模式聚类方法,其中集群的概率密度函数,生成的数据的局部模式的定义。最著名的模态聚类方法是k均值聚类。Mean Shift聚类是k-means聚类的一种推广,它计算任意形状的聚类,定义为密度梯度上升路径创建的局部模式的吸引盆。尽管Mean Shift方法具有潜力,但对于无监督学习来说,它是一种计算成本很高的方法。因此,我们介绍了两个贡献,旨在提供一个线性的时间复杂度的聚类算法,而不是二次时间复杂度的精确均值漂移聚类。首先,我们提出了一个可扩展的过程来近似密度梯度上升。其次,我们提出了可扩展的集群标记技术。这两个命题都是基于局部敏感哈希(LSH)来近似最近的邻居。这两种技术可用于中等大小的数据集。此外,我们表明,使用我们提出的密度梯度上升的近似值作为其他聚类方法的预处理步骤,也可以提高专用的分类指标。对于后者,提出了一个为Spark/Scala生态系统编写的分布式实现。对于所有这些考虑聚类方法,我们提出了实验结果,说明他们的标签的准确性和解决具体问题的潜力。
2019-02-11 cs.AI cs.DC cs.LG
Scalable k-Means Clustering for Large k via Seeded Approximate Nearest-Neighbor Search
University of Illinois(伊利诺伊大学);Department of Computer Science(计算机科学系)
针对高维大规模数据集(10⁷~10⁹点,d≥100)的极大k值k均值聚类问题,提出种子近似最近邻搜索方法优化Lloyd算法的点分配步骤,解决现有方法Ω(k²)复杂度问题。
2025-02-10 cs.CG cs.LG stat.ML
Local Sample-weighted Multiple Kernel Clustering with Consensus Discriminative Graph
National University of Defense Technology(国防科技大学);Hunan University(湖南大学);Supercomputing and Cloud Computing Institute(超级计算与云计算研究院);State University of New York, New Paltz(纽约州立大学新帕尔茨分校)
多核聚类(MKC)致力于从一组基本核中实现最佳信息融合。由于距离-距离相似性估计的不可靠性会降低聚类性能,因此构造精确的局部核矩阵具有重要的应用价值。虽然现有的局部化MKC算法与全局设计的竞争者相比表现出更好的性能,但大多数算法广泛采用KNN机制通过考虑τ -最近邻来定位核矩阵。然而,这种粗略的方式遵循了不合理的策略,即不同邻居的排序重要性相等,这在应用中是不切实际的。为了缓解这些问题,本文提出了一种新的局部样本加权多核聚类(LSWMKC)模型。我们首先在核空间中构造了一个一致判别亲和图,揭示了潜在的局部结构。此外,学习的亲和图的最佳邻域核输出具有自然稀疏性和清晰的块对角结构。此外,LSWMKC implementation优化不同的邻居与相应的样本的自适应权重。实验结果表明,我们的LSWMKC具有更好的局部流形表示,并优于现有的核或基于图的聚类算法。LSWMKC的源代码可以从https://github.com/liliangnudt/LSWMKC公开访问。
2022-07-05 cs.AI cs.LG
A Versatile Framework for Attributed Network Clustering via K-Nearest Neighbor Augmentation
Tencent(腾讯)
针对多类型属性网络聚类中捕捉多跳连接的难题,提出基于K近邻增强的通用框架ANCKA,支持多种属性网络聚类任务,经大量实验验证其聚类质量与效率均优于现有方法。
2024-10-05 cs.LG cs.SI
Graph Sensitive Indices for Comparing Clusterings
University of Washington(华盛顿大学)
本报告讨论了两个新的指标比较聚类的一组点。寻找比较聚类的新方法的动机源于这样一个事实,即现有的聚类索引仅基于集合基数,而不考虑数据点的位置。新的指数,即随机游走指数(RWI)和信息随邻居的变化(VIN),都受到聚类度量信息变化(VI)的启发。VI具有一些有趣的理论性质,这也是可取的度量比较聚类。我们定义了我们的指数,并讨论了他们的一些探索属性出现相关的聚类指数。我们还包括一些示例数据集的聚类这些指数的结果。
2014-11-27 cs.LG
Systematically and efficiently improving $k$-means initialization by pairwise-nearest-neighbor smoothing
Bocconi University(博科尼大学)
我们提出了一个元方法初始化(播种)的$k$均值聚类算法称为PNN平滑。它包括将给定的数据集分割成$J$随机子集,单独对每个子集进行聚类,并使用成对最近邻(PNN)方法合并得到的聚类。它是一种元方法,在这个意义上,当聚类各个子集时,可以使用任何播种算法。如果该播种算法的计算复杂性在数据$N$的大小和簇的数量$k$方面是线性的,则PNN平滑在适当选择$J$的情况下也几乎是线性的,并且在实践中相当有竞争力。我们的经验表明,使用几个现有的播种方法和测试的几个合成和真实的数据集,该程序的结果在系统上更好的成本。特别是,我们的方法,增强$k$ -手段++播种证明优越的有效性和速度相比,流行的“贪婪”$k$ -手段++的变种。我们的实现可以在https://github.com/carlobaldassi/KMeansPNNSmoothing.jl上公开获得。
2022-12-09 cs.LG stat.ML
A Fast Synchronization Clustering Algorithm
Chongqing Three Gorges University(重庆三峡学院)
本文提出了一种快速同步分簇算法(FSynC),它是SynC算法的一种改进。为了降低原SynC算法的时间复杂度,结合网格单元划分方法和红黑树构造每个点的近邻点集。通过对一些人工数据集和几个真实数据集的模拟实验,我们观察到FSynC算法在很多数据集上都能比SynC算法获得更少的时间。最后,对该算法的推广提出了一些研究展望.
2014-07-23 cs.LG
Fast Density Estimation for Density-based Clustering Methods
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);School of Mathematical Sciences, University of Chinese Academy of Sciences(中国科学院大学数学科学学院);LSEC(科学与工程计算国家重点实验室)
基于密度的聚类算法由于能够处理非超球形聚类,并且对离群点具有鲁棒性,被广泛应用于模式识别和机器学习中的聚类发现。然而,基于密度的算法的运行时间主要由寻找固定半径的近邻和计算密度来控制,这是耗时的。同时,传统的索引加速方法如KD树等在处理高维数据时效果不佳。在本文中,我们提出了一个快速区域查询算法命名为快速主成分分析修剪(称为FPCAP)的帮助下,快速主成分分析技术结合的几何信息提供的数据,它可以处理高维数据,并很容易地应用到基于密度的方法,以修剪不必要的距离计算时,发现邻居和估计密度。作为基于密度聚类方法的一种应用,FPCAP方法与基于密度的噪声应用空间聚类(DBSCAN)算法相结合。在此基础上,提出了一种改进的DBSCAN算法(IDBSCAN),该算法在保持DBSCAN算法优点的同时,大大减少了冗余距离的计算量。在7个基准数据集上的实验表明,该算法显著提高了计算效率。
2022-07-06 cs.LG
Clustering by Hierarchical Nearest Neighbor Descent (H-NND)
University of Electronic Science and Technology of China(电子科技大学)
在2014年之前,我们提出了最近下降(ND)方法,能够生成一个高效的图,称为入树(IT)。由于一些漂亮而有效的特性,这种IT结构被证明非常适合数据聚类。虽然IT中存在一些冗余边,但它们通常具有显著的特征,因此删除它们并不难。随后,为了防止出现看似冗余的边缘,我们提出了最近邻下降(NND),通过添加“邻居”约束ND。因此,集群自动出现,而无需删除冗余边缘的额外要求。然而,NND被证明仍然不是完美的,因为它带来了一个新的但更糟糕的问题,“过度划分”问题。现在,在本文中,我们提出了一种方法,称为分层最近邻下降(H-NND),它克服了NND的过度划分问题,通过使用分层策略。具体来说,H-NND使用ND来有效地合并NND产生的过度分段的子图或聚类。与ND一样,H-NND也生成IT结构,其中冗余边再次出现。这似乎又回到了ND面临的情况。然而,与ND相比,由H-NND生成的IT结构中的冗余边通常变得更加突出,因此即使通过将边长度作为唯一度量的最简单的边去除方法也更容易和更可靠地被识别。换句话说,由H-NND构造的IT结构变得更适合数据聚类。我们证明了这几个不同形状,尺寸和属性的聚类数据集。此外,与ND相比,H-NND通常需要更少的计算时间来构造输入数据的IT数据结构。
2016-03-04 cs.CV cs.LG stat.ME
ParChain: A Framework for Parallel Hierarchical Agglomerative Clustering using Nearest-Neighbor Chain
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);UC Riverside(加利福尼亚大学河滨分校)
本文研究了层次聚类问题,其目标是产生一个树状图,表示聚类在不同规模的数据集。我们提出了ParChain框架设计并行层次凝聚聚类(HAC)算法,并使用该框架,我们获得新的并行算法的完整的联系,平均联系,和沃德的联系标准。与大多数需要二次存储的并行HAC算法相比,我们的新算法只需要线性存储,并且可扩展到大数据集。ParChain基于我们对最近邻链算法的并行化,并允许在每一轮合并多个集群。我们介绍了两个关键的优化,是至关重要的效率:范围查询优化,减少了距离计算的数量时,找到最近的邻居的集群,和缓存优化存储的子集以前计算的距离,这是可能被重用。实验表明,我们的高度优化的实现使用48个核心的双向超线程实现5.8- 110.1倍的加速比最先进的并行HAC算法,并实现13.75- 54.23倍的自相关加速比。与最先进的算法相比,我们的算法所需的空间减少了237.3倍。我们的算法能够扩展到具有数千万个点的数据集大小,这是现有算法无法处理的。
2022-02-14 cs.DB cs.DC cs.DS
A Rapid Review of Clustering Algorithms
Swinburne University of Technology(斯威本科技大学);Australian National University(澳大利亚国立大学)
本文从五个维度对主流聚类算法进行分类综述,帮助研究者根据任务选择合适的算法,并总结了当前趋势、未来方向及开放挑战。
2024-01-14 cs.AI cs.LG
PECANN: Parallel Efficient Clustering with Graph-Based Approximate Nearest Neighbor Search
MIT(麻省理工学院)
本文提出统一密度峰值聚类变体的并行框架 PECANN,通过基于图的近似最近邻搜索和倍增搜索技术实现高效谓词搜索,在高维大规模数据上相比现有方法实现最高两个数量级的加速。
2025-06-03 cs.DC cs.DS cs.LG
A parameter-free graph reduction for spectral clustering and SpectralNet
The University of Sydney(悉尼大学)
基于图的聚类方法,如谱聚类和SpectralNet,在检测非凸形状的聚类方面非常有效。与流行的$k$ -means不同,基于图的聚类方法不假设每个聚类具有单个均值。然而,这些方法需要一个图,其中同一簇中的顶点由大权重的边连接。为了实现这一目标,许多研究提出了带参数的图约简方法。不幸的是,这些参数必须针对每个数据集进行调整。我们介绍了一个图约简方法,不需要任何参数。首先,使用自适应阈值过滤从每个点$p$到其邻居的距离,以仅保留具有相似周围密度的邻居。第二,计算与近邻的相似性,并且仅保持高相似性。在这两个过滤步骤中幸存下来的边形成了被传递到谱聚类和SpectralNet的构造图。实验表明,我们的方法提供了一个稳定的替代方案,其中其他方法的性能根据其参数的设置而波动。
2023-02-25 cs.AI cs.IR cs.LG
DISCERN: Diversity-based Selection of Centroids for k-Estimation and Rapid Non-stochastic Clustering
Shahid Bahonar University of Kerman(克尔曼沙希德·巴霍纳尔大学)
基于中心的聚类算法(如K-Means)的应用之一是将数据点划分为K个聚类。在某些示例中,特征空间与我们试图解决的潜在问题有关,有时我们可以获得合适的特征空间。然而,虽然K-Means是最有效的离线聚类算法之一,但它不具备估计聚类数的能力,这在某些实际情况下是有用的。其他实用的方法太复杂了,因为它们需要对每个可能的K至少运行一次K-Means。为了解决这个问题,我们提出了一个类似于K-Means++的K-Means初始化,它能够基于特征空间估计K,同时以确定性的方式为K-Means找到合适的初始质心。然后,我们比较了所提出的方法,DISCERN,与一些最实用的K估计方法,同时还比较了随机初始化时,使用K-Means++和使用DISCERN的K-Means的聚类结果。结果表明,在估计和最终的聚类性能的改善。
2020-09-22 cs.LG stat.ML
Neighborhood Gradient Clustering: An Efficient Decentralized Learning Method for Non-IID Data Distributions
Purdue University(普渡大学)
分布式数据集上的分散式学习在代理之间可能具有显著不同的数据分布。现有的分布式算法大多假设数据分布是独立同分布的。本文的重点是改进非IID数据的分散学习。我们提出了\textit{Neighborhood Gradient Clustering (NGC)},一种新的分散式学习算法,修改每个代理使用自我和交叉梯度信息的局部梯度。一对相邻智能体的交叉梯度是一个智能体的模型参数相对于另一个智能体的数据集的导数。特别地,所提出的方法用自梯度、模型变量交叉梯度(邻居参数相对于本地数据集的导数)和数据变量交叉梯度(本地模型相对于其邻居数据集的导数)的加权平均值来替换模型的局部梯度。通过额外的通信回合聚合数据变量交叉梯度,而不打破隐私约束。此外,我们提出了\textit{CompNGC},一个压缩版本的\textit{NGC},减少了通信开销的$32 \times$。我们从理论上分析了所提出的算法的收敛速度,并证明了其效率从{各种视觉和语言}训练数据集采样的非IID数据。我们的实验表明,\textit{NGC}和\textit{CompNGC}优于(通过$0-6\%$)现有的SoTA分散式学习算法在非IID数据的计算和内存需求显着减少。此外,我们的实验表明,在每个代理本地可用的模型变量交叉梯度信息可以通过$1-35\%$提高非IID数据的性能,而无需额外的通信成本。
2023-03-20 cs.DC cs.LG cs.MA
Scalable Density-based Clustering with Random Projections
University of Auckland(奥克兰大学)
本研究提出可扩展密度聚类算法sDBSCAN及配套sOPTICS,利用随机投影提升高维聚类效率,支持多种距离度量,在百万级数据集上速度远快于传统方法且精度更高。
2025-05-18 cs.CV cs.LG
Clustering of Big Data with Mixed Features
Trinity College Dublin(都柏林圣三一学院)
对大规模混合数据进行聚类是数据挖掘的核心问题。许多方法采用k-means的思想,因此对初始化敏感,仅检测球形聚类,并且需要先验未知的聚类数量。本文提出了一种新的混合类型大数据聚类算法,旨在提高峰值发现技术的适用性和效率。改进有三个方面:(1)该算法适用于混合数据;(2)该算法能够检测出离群点和密度值相对较低的聚类;(3)该算法能够确定正确的聚类数。通过应用快速k-近邻方法和缩小到分量集,大大降低了算法的计算复杂度。我们目前的实验结果,以验证我们的算法在实践中工作得很好。关键词:聚类;大数据;混合属性;密度峰;最近邻图;电导。
2020-11-11 cs.LG stat.ML
Exact and rapid linear clustering of networks with dynamic programming
University of Vermont(佛蒙特大学);Université Laval(拉瓦尔大学)
针对一维位置网络的聚类问题,本文提出 O(n^2) 动态规划算法,可为多类目标给出可证明最优解,并在相近运行时间内显著优于现有启发式方法。
2023-12-08 cs.DS cs.LG cs.SI
Representation Learning by Reconstructing Neighborhoods
University of California, Riverside(加州大学河滨分校);University of New Mexico(新墨西哥大学)
自提出以来,无监督表示学习引起了研究界的广泛关注,因为它被证明是高效和易于应用的任务,如降维,聚类,可视化,信息检索和半监督学习。在这项工作中,我们提出了一种新的无监督的表示学习框架称为neighbor-encoder,其中领域知识可以很容易地纳入到学习过程中,而无需修改的一般编码器-解码器架构的经典autoencoder.In相比,autoencoder,重建输入数据本身,neighbor-encoder重建输入数据的邻居。由于所提出的表示学习问题本质上是一个邻居重建问题,因此可以以对象之间相似性的适当定义的形式容易地并入领域知识。基于这种观察,我们的框架可以利用任何现成的相似性搜索算法或辅助信息来找到输入对象的邻居。其他算法的应用(例如,关联规则挖掘)也是可能的,因为邻居的适当定义可以在不同的上下文中变化。我们已经证明了我们的框架在许多不同的领域,包括图像,文本和时间序列,以及各种数据采掘任务,包括分类,聚类和可视化的有效性。实验结果表明,邻居编码器不仅在我们考虑的大多数情况下优于自动编码器,而且在文本文档聚类上也达到了最先进的性能。
2018-11-06 cs.AI cs.LG stat.ML
A Novel Clustering Algorithm Based Upon Games on Evolving Network
Zhejiang University(浙江大学);Shanghai Jiao Tong University(上海交通大学)
本文提出了一种基于演化网络的博弈模型,并根据该模型提出了三种聚类算法,在聚类算法中,聚类数据点被看作是博弈中的参与者,参与者可以在博弈中做出决策。在描述数据点之间关系的网络上,利用一个去边重连(ERR)函数在数据点的邻域内进行探索,去除与小收益邻域相连的边,并创建与大收益邻域相连的新边.因此,数据点之间的联系随着时间的推移而变化。在网络的演化过程中,一些策略在网络中传播。因此,自动形成聚类,其中具有相同进化稳定策略的数据点被收集为聚类,因此进化稳定策略的数量指示聚类的数量。实验结果表明,该算法能够合理有效地对数据点进行聚类,并与其他算法进行了比较,验证了算法的有效性。
2010-03-19 cs.CV cs.GT cs.LG
A Rapid Pattern-Recognition Method for Driving Types Using Clustering-Based Support Vector Machines
Beijing Institute of Technology(北京理工大学);UC Berkeley(加州大学伯克利分校)
提出了一种快速模式识别方法来表征驾驶员曲线通过行为。为了缩短识别时间,提高驾驶风格的识别率,提出了一种基于k均值聚类的支持向量机(kMC-SVM)方法,并将其用于驾驶员的驾驶风格分类。首先将车速和节气门开度作为反映驾驶风格的特征参数。其次,为了区分驾驶员曲线通过行为,减少支持向量的数量,采用k-均值聚类方法对两类驾驶数据进行提取和聚类,缩短识别时间。然后,基于聚类结果,利用支持向量机方法生成超平面,用于判断和预测人类驾驶员属于哪种类型。最后,为了验证kMC-SVM方法的有效性,设计并进行了交叉验证实验。研究结果表明,与SVM方法相比,$ k $ MC-SVM方法是一种有效的驾驶风格分类方法,分类时间短。
2016-05-22 cs.CV cs.LG stat.ML
Context-Aware Hypergraph Construction for Robust Spectral Clustering
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);The University of Adelaide(阿德莱德大学);State University of New York, Binghamton(纽约州立大学宾汉姆顿分校)
谱聚类是无监督数据分析的有力工具。在本文中,我们提出了一个上下文感知的超图相似性度量(CAHSM),这导致了强大的谱聚类的情况下,噪声数据。我们构造了三种超图-成对超图、k-最近邻超图和高阶过聚类超图。成对超图捕获数据点的成对相似性; kNN超图捕获每个点的邻域;聚类超图编码数据集中的高阶上下文。通过结合这三个超图的亲和度信息,CAHSM算法能够探索数据集的内在拓扑信息。因此,使用CAHSM的数据聚类往往更健壮。考虑到顶点的类内紧性和类间可分性,我们进一步设计了一个判别超图划分准则(DHPC)。利用CAHSM和DHPC,一个强大的谱聚类算法。理论分析和实验验证了该算法的有效性和鲁棒性。
2014-01-04 cs.CV cs.LG
Semantic Term "Blurring" and Stochastic "Barcoding" for Improved Unsupervised Text Classification
Duke University(杜克大学)
现代社会产生的大量文本数据使得按主题直观地对文本数据进行分组、分类或分类变得越来越重要,以便进行有效的检索和搜索。然而,文本数据的高维性和不精确性,或者更一般地说,语言作为一个整体,在尝试执行无监督文档聚类时被证明是具有挑战性的。在这篇论文中,我们提出了两个新的方法来提高无监督的文档聚类/分类的主题。第一是改进文档表示。我们希望利用“术语邻域”和“模糊”相邻术语的语义权重。这些邻域位于由“词嵌入”提供的语义空间中。第二种方法是基于我们认为的“随机条形码”或“S-条形码”模式进行聚类修正。文本数据本质上是高维的,然而聚类通常发生在低维表示空间中。我们的方法利用低维聚类结果作为初始的集群配置,并迭代修改的配置在高维空间。我们的实验结果表明,这两种方法如何提高文档聚类的质量。虽然这篇论文详细阐述了这两个新的概念贡献,但David Yan的联合论文详细介绍了我们为无监督文档分类开发的特征转换和软件架构。
2018-11-06 cs.CL cs.LG
Understanding human mobility patterns in Chicago: an analysis of taxi data using clustering techniques
New York University(纽约大学)
本研究利用芝加哥2016年出租车数据,通过聚类技术分析社区间移动模式,以指导公共交通规划并绘制交通流向,区分出发与到达区域,采用有向图方法处理。代码已开源。
2023-06-21 cs.LG cs.SI
A General Spatio-Temporal Clustering-Based Non-local Formulation for Multiscale Modeling of Compartmentalized Reservoirs
Stanford University(斯坦福大学);Quantum Reservoir Impact LLC(Quantum Reservoir Impact有限责任公司)
将储层表示为具有相邻和非相邻连接的离散隔间的网络是用于分析油气储层的快速而准确的方法。自动和快速检测具有不同静态和动态特性的粗尺度隔室是这种高级储层分析的一个组成部分。在这项工作中,我们提出了一个混合框架,具体到油藏分析的自动检测集群在空间中使用空间和时间的字段数据,再加上基于物理的多尺度建模方法。在这项工作中,我们提出了一种新的混合方法,在这种方法中,我们耦合基于物理的非本地建模框架与数据驱动的聚类技术,以提供一个快速,准确的多尺度建模的分隔油藏。这项研究还增加了文献,提出了一个全面的工作,空间-时间聚类油藏研究的应用程序,充分考虑聚类的复杂性,固有的稀疏性和噪声的数据,以及结果的可解释性。关键词:人工智能;机器学习;时空聚类;基于物理的数据驱动公式化;多尺度建模
2019-04-28 cs.LG stat.ME
Supervised Discriminative Sparse PCA with Adaptive Neighbors for Dimensionality Reduction
Huazhong University of Science and Technology(华中科技大学);University of Technology Sydney(悉尼科技大学)
降维是信息可视化、特征提取、聚类、回归和分类等领域的一个重要操作,特别是在处理有噪声的高维数据时。然而,大多数现有的方法都保留了数据的全局或局部结构,但不能同时保留两者。只保留全局数据结构的方法,如主成分分析(PCA),通常对离群值敏感。仅保留局部数据结构的方法,例如局部保留投影,通常是无监督的(因此不能使用标签信息),并且使用固定的相似性图。我们提出了一种新的线性降维方法,监督判别稀疏PCA与自适应邻居(SDSPCAAN),集成无邻域监督判别稀疏PCA和投影聚类与自适应邻居。因此,全局和局部数据结构以及标签信息都用于更好的降维。在9个高维数据集上的分类实验验证了SDSPCAAN的有效性和鲁棒性。
2020-01-12 cs.LG stat.ML
Unsupervised Spatial-spectral Hyperspectral Image Reconstruction and Clustering with Diffusion Geometry
City University of Hong Kong(香港城市大学);Hong Kong Centre for Cerebro-Cardiovascular Health Engineering(香港脑心血管健康工程中心);Tufts University(塔夫茨大学);Wake Forest University(维克森林大学)
高光谱图像是自然科学和社会科学的重要数据源,它存储了上百个或更多的光谱波段。高光谱图像通常以相对粗糙的空间分辨率大量生成。因此,需要在高光谱图像中结合已知结构的无监督机器学习算法来自动分析这些图像。本文介绍了空间光谱图像重建和扩散几何聚类(DSIRC)算法,用于分割高度混合的高光谱图像。DSIRC通过形状自适应重建过程降低测量噪声。特别是,对于每个像素,DSIRC定位光谱相关的像素内的数据自适应的空间邻域和重建像素的光谱特征使用其邻居。然后,DSIRC将高密度、高纯度像素定位在远离其他高密度、高纯度像素的扩散距离(一种依赖于数据的距离度量)上,并将这些像素视为聚类样本,为每个像素提供唯一的标签。非模态像素被分配其扩散距离的标签-已经标记的具有更高密度和纯度的最近邻。强有力的数值结果表明,通过图像重建的空间信息,大大提高了性能的像素级聚类。
2022-04-28 cs.CV cs.LG stat.AP
GCAO: Group-driven Clustering via Gravitational Attraction and Optimization
School of Information Science and Technology, Beijing Forestry University(信息科学与技术学院,北京林业大学);College of Forestry, Beijing Forestry University(林业学院,北京林业大学)
针对高维非均匀数据聚类中边界样本易受干扰的问题,提出基于引力吸引与优化的组驱动聚类算法GCAO,通过组级优化和引力收缩策略提升边界清晰度,在多个数据集上平均提升NMI等指标37%以上。
2025-10-27 cs.LG stat.ML
Automatic depth-based local center clustering via $β$-integrated local depth and adaptive grouping
提出自动深度局部中心聚类(A-DLCC),利用β-集成局部深度识别局部中心,结合自适应合并准则,无需参数调整即可自动确定簇数并产生可解释聚类结果。
2026-09-23 cs.LG stat.ME stat.ML