Neighborhood Stability as a Measure of Nearest Neighbor Searchability
University of Copenhagen, Copenhagen, Denmark(哥本哈根大学);Northeastern University, Boston, MA, USA(东北大学)
本文提出两种度量方法,用于评估数据集是否可通过基于聚类的近似最近邻搜索进行搜索,且不依赖特定距离函数。
2026-02-18 cs.IR cs.LG
Interfering Paths in Decision Trees: A Note on Deodata Predictors
提出了一种提高决策树预测精度的技术。它包括在多个路径上并行评估树的分支。该技术使预测与deodata算法的最近邻域变体生成的预测更加一致。该技术还使杂交的决策树算法与最近的邻域变量。
2022-02-24 cs.LG
Adaptive $k$ Nearest Neighbors Classifier via Granular Ball Computing
Chongqing University of Posts and Telecommunications(重庆邮电大学);Chongqing Normal University(重庆师范大学)
本文提出基于粒球计算的自适应KNN方法,通过训练阶段构建多粒度粒球、预测阶段动态确定有效k值,在多数据集上的准确率和效率均优于现有KNN变体。
2026-08-14 cs.LG
UMAP Is Spectral Clustering on the Fuzzy Nearest-Neighbor Graph
Frazer Institute, Faculty of Health, Medicine and Behavioural Sciences, The University of Queensland(弗拉泽研究所,健康、医学与行为科学学院,昆士兰大学)
本文证明UMAP在模糊最近邻图上执行谱聚类,将UMAP、对比学习和谱聚类统一于一个理论框架。
2026-02-12 cs.LG
DNNR: Differential Nearest Neighbors Regression
Freie Universität Berlin(柏林自由大学)
K-近邻(KNN)是机器学习中最早和最成熟的算法之一。对于回归任务,KNN对邻域内的目标进行平均,这带来了许多挑战:邻域定义对于预测性能至关重要,因为邻域可能是基于无信息特征选择的,并且平均值不能解释函数如何局部变化。我们提出了一种称为差分最近邻回归(DNNR)的新方法,它同时解决了这两个问题:在训练期间,DNNR估计局部梯度以缩放特征;在推理期间,它使用估计的梯度执行n阶泰勒近似。在对超过250个数据集的大规模评估中,我们发现DNNR在保持KNN的简单性和透明性的同时,执行了最先进的梯度提升方法和MLP。这使我们能够推导出理论误差范围并检查故障。在需要ML模型透明性的时代,DNNR在性能和可解释性之间提供了良好的平衡。
2022-05-17 cs.LG
Local Distribution in Neighborhood for Classification
Lanzhou University(兰州大学)
k-最近邻方法基于其邻域中包含的信息对查询样本执行分类任务。以往的k-近邻算法通常通过结合邻域内每个样本的支持度来获得类的决策值。它们通常单独考虑最近的邻居,并且丢失了对分类重要的潜在完整的邻居信息,例如分布信息。本文提出了一种新的局部学习方法,通过局部分布来组织邻域中的信息。在该方法中,额外的分布信息的邻域估计,然后组织,分类决策是基于最大后验概率,这是估计的局部分布在邻域。此外,基于局部分布,我们生成了一个广义的局部分类形式,可以有效地应用于各种数据集,通过调整参数。我们使用合成和真实数据集来评估所提出的方法的分类性能;实验结果表明,与其他一些最先进的分类器相比,所提出的方法的维度可扩展性,效率,有效性和鲁棒性。结果表明,该方法是有效的,并在广泛的领域有前途。
2018-12-07 cs.IR cs.LG
Neighborhood Watch: Representation Learning with Local-Margin Triplet Loss and Sampling Strategy for K-Nearest-Neighbor Image Classification
University of Arkansas(阿肯色大学);University of Washington(华盛顿大学);Washington University(华盛顿大学);Klinikum rechts der Isar(伊萨尔河右岸医院);Technical University of Munich(慕尼黑工业大学)
使用三元组网络进行分类的深度表示学习缺乏理论基础,并且难以调整网络和分类器的性能。针对这一问题,提出了局部边缘三元组丢失以及局部正负挖掘策略,并对该策略如何将最近邻超参数与三元组学习相结合以提高后续分类性能进行了理论分析。在两个公共数据集,MNIST和Cifar-10,和2个小的医学图像数据集的实验结果表明,所提出的策略优于端到端的softmax和典型的三重丢失设置没有数据增强,同时保持相关任务的可转移功能的效用。该方法作为一个良好的性能基线,端到端的方法遇到的困难,如小样本数据有限的允许数据增强。
2019-10-28 cs.CV cs.LG
Multi-View Spectral Clustering with High-Order Optimal Neighborhood Laplacian Matrix
National University of Defense Technology(国防科技大学);Southwestern University of Finance and Economics(西南财经大学)
多视图谱聚类通过对学习到的最优嵌入进行聚类,可以有效地揭示数据间的内在聚类结构。现有的方法虽然在各种应用中表现出良好的性能,但大多数方法通常线性地组合一组预先指定的一阶拉普拉斯矩阵来构造最优拉普拉斯矩阵,这可能导致有限的表示能力和不充分的信息利用。此外,存储和实现对$n\times n$拉普拉斯矩阵的复杂运算会导致密集的存储和计算复杂度。为了解决这些问题,本文首先提出了一种多视图谱聚类算法,该算法学习高阶最优邻域拉普拉斯矩阵,然后将其扩展到后期融合版本,以实现准确高效的多视图聚类。具体来说,我们提出的算法产生的最佳拉普拉斯矩阵搜索的线性组合的邻域的一阶和高阶基拉普拉斯矩阵同时。通过这种方式,学习的最优拉普拉斯矩阵的代表能力得到增强,这有助于更好地利用数据之间隐藏的高阶连接信息,从而提高聚类性能。我们设计了一个有效的算法,证明了收敛性,以解决由此产生的优化问题。在9个数据集上的实验结果表明了该算法相对于现有算法的优越性,验证了该算法的有效性和优越性。
2020-08-31 cs.LG stat.ML
Clustering-Based Matrix Factorization
推荐系统是一种新兴的技术,现在可以在许多应用程序中找到,如亚马逊,Netflix等。这些系统帮助用户找到相关信息,推荐和他们喜欢的项目。这些分类器的准确性的稍微提高可以高度影响推荐的质量。矩阵分解是推荐系统中的一种流行方法,在准确性和复杂性方面都有很好的效果。在本文中,我们提出了一个扩展的矩阵分解,增加了一般的邻域信息的推荐模型。用户和项目被聚集到不同的类别中,以查看这些类别如何共享首选项。然后,我们使用这些类别的共同利益的融合偏置矩阵分解,以实现更准确的建议。这是对当前邻域感知矩阵分解模型的补充,该模型依赖于使用用户和项目的直接邻域信息。该模型在两个著名的推荐系统数据集上进行了测试:Movielens100k和Netflix。我们的实验表明,将类别的一般潜在特征应用到因子化推荐模型中可以提高推荐的准确性。目前的邻域感知模型需要大量的邻域才能达到良好的精度。据我们所知,所提出的模型是更好的或与当前的邻居感知模型相比,当他们考虑较少的邻居。
2013-08-01 cs.LG
Nearest Neighbour Equilibrium Clustering
Lancaster University(兰卡斯特大学)
提出一种基于最近邻的平衡聚类算法,通过平衡簇大小与内聚性定义簇,并利用对齐强度实现自动模型选择,算法简单高效,聚类质量优于文献基准。
2025-03-28 cs.LG stat.ML
An efficient density-based clustering algorithm using reverse nearest neighbour
University of Hertfordshire(赫特福德大学);University of Essex(埃塞克斯大学)
基于密度的聚类是发现实体(集群)的高密度区域的任务,这些区域被连续的低密度区域彼此分开。DBSCAN可以说是最流行的基于密度的聚类算法。但是,其群集恢复能力取决于这两个参数的组合。在本文中,我们提出了一种新的基于密度的聚类算法,它使用反向最近邻(RNN),并有一个单一的参数。我们还表明,它是可能的估计一个很好的值,这个参数使用聚类有效性指数。RNN查询使我们的算法能够考虑多个实体来估计密度,并恢复分离不佳或密度不同的集群。我们在合成数据集和真实数据集上的实验表明,我们提出的算法优于DBSCAN及其最近的变体ISDBSCAN。
2018-11-19 cs.LG stat.ML
Nearest Neighbor Median Shift Clustering for Binary Data
University of Paris 13(巴黎第十三大学);Computer Science Laboratory of Paris North (LIPN, CNRS UMR 7030)(巴黎北部计算机科学实验室(法国国家科学研究中心混合研究单位7030))
本文描述了一种新的二进制数据模式聚类方法背后的理论和实践。我们的方法(BinNNMS)是基于最近邻中值偏移。中位数偏移是众所周知的均值偏移的扩展,均值偏移是为连续数据设计的,用于处理二进制数据。通过理论和实验分析,证明了BinNNMS能够准确地发现二进制数据中簇的位置。
2019-02-11 cs.AI cs.LG stat.ML
Trust your neighbors: A comprehensive survey of neighborhood-based methods for recommender systems
Amazon(亚马逊);The Ohio State University(俄亥俄州立大学);École de Technologie Supérieure(高等技术学院);University of Minnesota(明尼苏达大学)
基于最近邻的协作推荐方法由于其简单性、效率以及产生准确和个性化推荐的能力而在今天仍然非常流行。本章提供了一个全面的调查,基于邻域的方法的项目推荐问题。它提出了这样的方法的主要特点和好处,描述了关键的设计选择实现一个基于邻居的推荐系统,并给出了实际的信息,如何使这些选择。本章涵盖了广泛的方法,包括k-最近邻等传统算法以及基于矩阵分解、稀疏编码和随机游走的高级方法。
2021-09-09 cs.IR cs.LG
Towards Robust and Scalable Density-based Clustering via Graph Propagation
School of Computer Science, University of Auckland, New Zealand(奥克兰大学计算机科学学院);Department of Mathematics and Computer Science, University of Southern Denmark, Denmark(丹麦南部大学数学与计算机科学系)
本文提出CluProp框架,将高维空间中的变密度聚类转化为邻域图上的标签传播过程,通过高效的传播机制缓解传统密度方法的参数敏感性,实现大规模数据的高效准确聚类。
2026-08-27 cs.LG
pNNCLR: Stochastic Pseudo Neighborhoods for Contrastive Learning based Unsupervised Representation Learning Problems
Jadavpur University(贾达布尔大学);UiT The Arctic University of Norway(挪威UiT北极大学)
本文针对自监督表示学习中最近邻支撑集质量受限的问题,提出pNNCLR,通过伪最近邻随机采样和平滑权重更新提升性能,实验显示其较NNCLR最高提升8%。
2023-08-14 cs.AI cs.CV cs.LG
Nearest Descent, In-Tree, and Clustering
University of Electronic Science and Technology of China(电子科技大学)
在本文中,我们提出了一个物理启发的图论聚类方法,它首先使数据点组织成一个有吸引力的图,称为入树,通过物理启发的规则,称为最近下降(ND)。特别地,ND规则的工作原理是选择在势的下降方向上最近的节点作为每个节点的父结点,这与经典的梯度下降或最陡下降有本质的不同。构造的In-Tree证明了一个非常好的候选人聚类,由于其特定的功能和属性。在In-Tree中,原始的聚类问题被简化为从该图中移除非常少的不需要的边的问题。令人高兴的是,In-Tree中的不需要的边是如此可区分,以至于它们可以很容易地以自动或交互的方式确定,这与广泛使用的最小生成树和k-最近邻图中的情况形成鲜明对比。该方法中的簇数可以很容易地基于一些中间图来确定,并且通过在每个子图(也是In-Tree)中快速搜索每个节点的根结点来容易地为每个节点进行簇分配。所提出的方法在合成和真实世界的数据集上进行了广泛的评估。总体而言,所提出的聚类方法是一个基于密度的,但显示出显着的差异和优势相比,传统的。该方法简单、高效、可靠,适用于各种形状、属性和任意高维数据集
2018-01-25 cs.CV cs.LG
Text Classification and Clustering with Annealing Soft Nearest Neighbor Loss
De La Salle University(德拉萨大学);College of Computer Studies(计算机研究学院)
我们将解纠缠定义为类不同的数据点彼此之间的距离,相对于类相似的数据点之间的距离。当在表示学习过程中最大化解纠缠时,我们获得了一个变换后的特征表示,其中保留了数据点的类成员资格。如果数据点的类成员关系被保留,我们将拥有一个特征表示空间,在该空间中,最近邻分类器或聚类算法将表现良好。我们利用这种方法来学习更好的自然语言表示,并将其用于文本分类和文本聚类任务。通过解纠缠,我们获得了具有更好定义的聚类的文本表示,并提高了文本分类性能。我们的方法在AG News数据集上的测试分类准确率高达90.11%,测试聚类准确率为88%,优于我们的基线模型-没有任何其他训练技巧或正则化。
2021-07-23 cs.CL cs.LG cs.NE
Curvature-Aware Radius Shrinkage for Adaptive Nearest Neighbor Classification
Computing Department(计算机系);Federal University of São Carlos(圣卡洛斯联邦大学)
提出曲率感知半径收缩(CARSANN)框架,利用局部流形曲率调整邻域空间范围,在70余个OpenML数据集上较标准k-NN实现显著且具统计意义的分类性能提升。
2026-08-31 cs.AI cs.CV cs.LG
Natural Hierarchical Cluster Analysis by Nearest Neighbors with Near-Linear Time Complexity
我们提出了一个基于最近邻的聚类算法,结果在一个自然定义的层次结构的集群。相反,凝聚和分裂的层次聚类算法,我们的方法是不依赖于迭代工作的算法,在这个意义上说,分区的层次聚类纯粹是根据输入数据集定义。我们的方法是一个通用的层次聚类方法,因为它可以实现为自自底向上的或自上而下的版本,这两种结果在相同的聚类。我们表明,对于某些类型的数据集,我们的算法具有接近线性的时间和空间复杂度。
2022-03-15 cs.DS cs.LG stat.ML
Beyond kNN: Adaptive, Sparse Neighborhood Graphs via Optimal Transport
University of British Columbia(不列颠哥伦比亚大学);University of Melbourne(墨尔本大学)
最近邻图被广泛用于捕获数据集的几何或拓扑。构建这种图的最常见策略之一是基于为每个点选择固定数量k的最近邻(kNN)。然而,当采样密度或噪声水平在数据集之间变化时,kNN启发式可能变得不合适。试图绕过这一点的策略通常会引入需要调优的其他参数。我们提出了一个简单的方法来构建一个自适应的邻域图从一个单一的参数,基于二次正则化的最佳运输。我们的数值实验表明,以这种方式构建的图在无监督和半监督学习应用中表现良好。
2022-08-01 cs.LG stat.ML
Recursive nearest agglomeration (ReNA): fast clustering for approximation of structured signals
Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会);University Paris-Saclay(巴黎萨克雷大学);Institut de Mathématiques de Toulouse(图卢兹数学研究所);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心)
在这项工作中,我们重温快速降维方法,随机投影和随机采样。我们的目标是总结数据,以减少后续分析的计算成本和内存占用。当感兴趣的信号具有强结构时,例如具有图像时,这种降维可以是非常有效的。我们专注于这种设置和调查功能聚类方案的数据减少,捕捉这种结构。快速降维的一个障碍是,好的聚类伴随着大的算法成本。我们通过贡献一个线性时间凝聚聚类方案,递归最近聚集(ReNA)来解决这个问题。与现有的快速凝聚方案不同,它避免了产生巨大的集群。我们的经验验证,它近似的数据,以及传统的方差最小化聚类方案,具有二次复杂性。此外,我们分析了信号近似与特征聚类,并表明它可以去除噪声,改善后续的分析步骤。因此,通过使用ReNA对特征进行聚类来减少数据,可以产生非常快速和准确的模型,从而能够在预算范围内处理大型数据集。我们的理论分析得到了广泛的实验公开的数据,说明了计算效率和去噪性能的降维计划。
2018-03-19 cs.LG stat.ML
Nearest-Neighbour-Induced Isolation Similarity and its Impact on Density-Based Clustering
Monash University(莫纳什大学);Federation University(澳大利亚联邦大学);Deakin University(迪肯大学)
针对隔离相似性树实现方法的缺陷,提出近邻诱导的隔离相似性,将其替换DBSCAN的距离度量可显著提升性能,还定义了质量连通簇并给出相关检测条件。
2019-06-30 cs.LG stat.ML
Refining a $k$-nearest neighbor graph for a computationally efficient spectral clustering
The University of Sydney(悉尼大学)
谱聚类由于能够发现不同形状的簇而成为数据聚类的热门选择。然而,由于其计算需求,它并不总是优于其他聚类方法。绕过这些计算需求的有效方法之一是对点的子集(数据代表)执行谱聚类,然后概括聚类结果,这被称为近似谱聚类(ASC)。ASC使用抽样或量化来选择数据代表。这使得它容易受到1)性能不一致(因为这些方法在初始化或训练中具有随机步骤),2)局部统计丢失(因为成对相似性是从数据代表而不是数据点中提取的)。我们提出了一个改进版本的$k$ -最近邻图,在其中我们保持数据点,并积极减少计算效率的边缘数量。利用局部统计来保留不违反簇内距离的边,并使$k$ -最近邻图中的所有其他边无效。我们还引入了一个可选的步骤来自动选择集群的数量$C$。所提出的方法进行了测试合成和真实数据集。与ASC方法相比,所提出的方法提供了一致的性能,尽管显着减少的边缘。
2023-02-22 cs.AI cs.IR cs.LG
Nonparametric Nearest Neighbor Descent Clustering based on Delaunay Triangulation
University of Electronic Science and Technology of China(电子科技大学)
在我们的基于物理启发的in-tree(IT)聚类算法及其之后的系列中,只有一个自由参数参与计算每个点的潜在值。在这项工作中,基于Delaunay三角剖分或其对偶Voronoi曲面细分,我们提出了一个非参数的过程来计算潜在的价值观的局部信息。这种计算虽然是非参数的,但相对来说非常粗糙,因此会产生许多局部极值点。然而,与那些基于梯度的方法不同,我们基于IT的方法通常对这些局部极值不敏感。这积极地证明了这些参数(以前)和非参数(在这项工作中)基于IT的方法的优越性。
2015-03-18 cs.CV cs.LG stat.ML
A Note on Graph-Based Nearest Neighbor Search
Donghua University(东华大学);University of New South Wales(新南威尔士大学);Tianjin University of Technology(天津理工大学)
最近邻搜索在机器学习、数据采掘和海量数据处理系统中有着广泛的应用。在过去的几年里,基于图的最近邻搜索范式的流行,因为它的优越性比空间划分算法。虽然大量的实证研究证明了基于图的算法的效率,但没有太多的注意力放在一个更基本的问题上:为什么基于图的算法在实践中工作得这么好?哪些数据属性会影响效率以及如何影响?在本文中,我们试图回答这些问题。我们的见解是,“点o的邻居倾向于成为KNN图中邻居的概率”是查询效率的关键数据属性。对于一个给定的数据集,这种性质可以定性地衡量KNN图的聚类系数。为了说明聚类系数如何影响性能,我们发现,而不是全局连接,一些给定的查询q周围的局部连接有更直接的影响召回。具体地说,我们观察到,高聚类系数使得q的k个最近邻的大部分位于图中的最大强连通分量(SCC)中。从算法的角度来看,我们表明,搜索过程实际上是由两个阶段-一个最大SCC外,另一个在它,这是不同于广泛接受的单路径或多路径搜索模型。我们证明了常用的基于图的搜索算法在访问最大SCC中的任何一点时都能遍历最大SCC,分析表明,聚类系数越高,最大SCC的大小越大,因此,两阶段搜索过程提供了良好的答案质量。广泛的实证结果在一个全面的收集数据集验证了我们的研究结果。
2020-12-21 cs.LG
Clustering by Deep Nearest Neighbor Descent (D-NND): A Density-based Parameter-Insensitive Clustering Method
University of Electronic Science and Technology of China(电子科技大学)
大多数基于密度的聚类方法在很大程度上依赖于对底层密度的估计。然而,密度估计本身也是一个具有挑战性的问题,尤其是核带宽的确定。大的带宽可能导致过平滑的密度估计,其中密度峰值的数量可能小于真实的聚类,而小的带宽可能导致欠平滑的密度估计,其中在估计的密度中将生成伪密度峰值,或称为“波纹噪声”。在本文中,我们提出了一种基于密度的层次聚类方法,称为深度最近邻下降(D-NND),它可以逐层学习底层的密度结构,同时捕获聚类结构。该方法可以避免过平滑密度估计,同时也可以减小欠估计情况的负面影响。总的来说,D-NND不仅表现出很强的发现潜在集群结构的能力,而且由于其对参数的不敏感性,具有显著的可靠性。
2015-12-07 cs.CV cs.LG stat.CO
Robust nonparametric nearest neighbor random process clustering
ETH Zurich(苏黎世联邦理工学院)
我们考虑的问题,聚类噪声有限长度的观察平稳遍历随机过程根据其生成模型,而无需先验知识的模型统计和生成模型的数量。两种算法,都使用的$L^1$估计功率谱密度(PSD)之间的距离作为一种措施的相异性,进行了分析。第一个,称为最近邻过程聚类(NNPC),依赖于分区的最近邻图的观察,通过谱聚类。第二种算法,简称为$k$ -手段(KM),由一个单一的$k$ -手段迭代与最远点初始化,被认为是以前在文献中,虽然与不同的相异性措施。我们证明,这两种算法成功的概率很高,在存在噪声和丢失条目,甚至当生成过程的PSD重叠显着,所有的观察长度是足够大的。我们的研究结果量化了生成过程PSD的重叠,观察长度,丢失条目的分数和噪声方差之间的权衡。最后,我们提供了广泛的数值模拟结果的合成和真实的数据,发现NNPC优于国家的最先进的算法在人体运动序列聚类。
2017-09-28 cs.IT cs.LG math.IT
Nonparametric Nearest Neighbor Random Process Clustering
ETH Zurich(苏黎世联邦理工学院)
我们考虑的问题,聚类噪声有限长度的观察平稳遍历随机过程根据其非参数生成模型,没有先验知识的模型统计和生成模型的数量。两种算法,都使用估计功率谱密度(PSD)之间的L1距离作为一种措施的相异性,进行了分析。第一种算法,称为最近邻过程聚类(NNPC),据我们所知,是新的,并依赖于分区的最近邻图的观察,通过谱聚类。第二种算法,简称为k-均值(KM),由一个单一的k-均值迭代与最远点初始化,并被认为是在文献中,虽然有不同的措施相异性和渐近性能的结果。我们表明,NNPC和KM成功的概率高噪声下,即使当生成过程的PSD重叠显着,所有的观察长度是足够大的。我们的研究结果量化了生成过程PSD的重叠,噪声方差和观察长度之间的权衡。最后,我们提出了合成和真实数据的数值性能结果。
2015-04-20 cs.IT cs.LG math.IT
Parameter-Free Clustering via Self-Supervised Consensus Maximization (Extended Version)
本文提出一种无需参数的聚类框架SCMax,通过自监督共识最大化实现层次聚类和评估,利用最近邻共识得分确定最佳聚类数,实验表明其优于传统方法。
2026-03-24 cs.LG
Scalable k-Means Clustering for Large k via Seeded Approximate Nearest-Neighbor Search
University of Illinois(伊利诺伊大学);Department of Computer Science(计算机科学系)
针对高维大规模数据集(10⁷~10⁹点,d≥100)的极大k值k均值聚类问题,提出种子近似最近邻搜索方法优化Lloyd算法的点分配步骤,解决现有方法Ω(k²)复杂度问题。
2025-02-10 cs.CG cs.LG stat.ML
A Distributed and Approximated Nearest Neighbors Algorithm for an Efficient Large Scale Mean Shift Clustering
University of Paris 13(巴黎第十三大学)
在本文中,我们的目标是一类的模式聚类方法,其中集群的概率密度函数,生成的数据的局部模式的定义。最著名的模态聚类方法是k均值聚类。Mean Shift聚类是k-means聚类的一种推广,它计算任意形状的聚类,定义为密度梯度上升路径创建的局部模式的吸引盆。尽管Mean Shift方法具有潜力,但对于无监督学习来说,它是一种计算成本很高的方法。因此,我们介绍了两个贡献,旨在提供一个线性的时间复杂度的聚类算法,而不是二次时间复杂度的精确均值漂移聚类。首先,我们提出了一个可扩展的过程来近似密度梯度上升。其次,我们提出了可扩展的集群标记技术。这两个命题都是基于局部敏感哈希(LSH)来近似最近的邻居。这两种技术可用于中等大小的数据集。此外,我们表明,使用我们提出的密度梯度上升的近似值作为其他聚类方法的预处理步骤,也可以提高专用的分类指标。对于后者,提出了一个为Spark/Scala生态系统编写的分布式实现。对于所有这些考虑聚类方法,我们提出了实验结果,说明他们的标签的准确性和解决具体问题的潜力。
2019-02-11 cs.AI cs.DC cs.LG
Contrast and Clustering: Learning Neighborhood Pair Representation for Source-free Domain Adaptation
Jiaxing University(嘉兴学院);Zhejiang Normal University(浙江师范大学);Zhejiang Sci-Tech University(浙江理工大学)
针对无源域数据的无监督域适应场景,本文从对比学习视角出发,通过最近邻聚类、扩展邻域构造难负样本对、结合噪声对比估计的方法学习域不变特征,在三个基准数据集上取得了优于现有最优方法的效果。
2023-12-13 cs.CV cs.LG
Clustering by Descending to the Nearest Neighbor in the Delaunay Graph Space
University of Electronic Science and Technology of China(电子科技大学)
在我们以前的工作中,我们提出了一个物理启发的规则,将数据点组织成一个入树(IT)结构,其中允许出现一些不需要的边缘。通过删除那些不需要的或冗余的边缘,这个IT结构被分成几个单独的部分,每个部分代表一个集群。在这项工作中,我们试图防止不需要的边缘从源头上出现。在使用物理启发规则之前,数据点首先被组织成一个邻近图,该图限制每个点仅在其邻居中选择最佳有向邻居。因此,分离的入树或聚类自动出现,而不需要去除冗余的边缘。
2015-02-16 cs.CV cs.LG stat.ML
Land Use Classification Using Multi-neighborhood LBPs
University Of Waterloo(滑铁卢大学)
在本文中,我们提出了使用多个本地二进制模式(LBP),有效地分类土地利用图像。我们使用UC Merced 21类土地利用图像数据集。由于数据集包含类内变异性和类间相似性,因此分类任务具有挑战性。我们提出的方法,使用多个邻域LBP结合最近邻分类器能够达到77.76%的准确率。进一步的类明智的分析,并提出适当的建议,进一步提高分类精度。
2019-02-07 cs.LG stat.ML
A Versatile Framework for Attributed Network Clustering via K-Nearest Neighbor Augmentation
Tencent(腾讯)
针对多类型属性网络聚类中捕捉多跳连接的难题,提出基于K近邻增强的通用框架ANCKA,支持多种属性网络聚类任务,经大量实验验证其聚类质量与效率均优于现有方法。
2024-10-05 cs.LG cs.SI
Systematically and efficiently improving $k$-means initialization by pairwise-nearest-neighbor smoothing
Bocconi University(博科尼大学)
我们提出了一个元方法初始化(播种)的$k$均值聚类算法称为PNN平滑。它包括将给定的数据集分割成$J$随机子集,单独对每个子集进行聚类,并使用成对最近邻(PNN)方法合并得到的聚类。它是一种元方法,在这个意义上,当聚类各个子集时,可以使用任何播种算法。如果该播种算法的计算复杂性在数据$N$的大小和簇的数量$k$方面是线性的,则PNN平滑在适当选择$J$的情况下也几乎是线性的,并且在实践中相当有竞争力。我们的经验表明,使用几个现有的播种方法和测试的几个合成和真实的数据集,该程序的结果在系统上更好的成本。特别是,我们的方法,增强$k$ -手段++播种证明优越的有效性和速度相比,流行的“贪婪”$k$ -手段++的变种。我们的实现可以在https://github.com/carlobaldassi/KMeansPNNSmoothing.jl上公开获得。
2022-12-09 cs.LG stat.ML
Attention Beyond Neighborhoods: Reviving Transformer for Graph Clustering
School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院);Michigan State University(密歇根州立大学);Alibaba Group(阿里巴巴集团)
本文提出注意力图聚类网络AGCN,将注意力机制直接嵌入图结构以兼顾全局信息与局部拓扑,并通过KV缓存和成对间隔对比损失提升效率与判别力,在图聚类任务中超越现有方法。
2025-09-18 cs.AI cs.LG cs.NI
Clustering by Hierarchical Nearest Neighbor Descent (H-NND)
University of Electronic Science and Technology of China(电子科技大学)
在2014年之前,我们提出了最近下降(ND)方法,能够生成一个高效的图,称为入树(IT)。由于一些漂亮而有效的特性,这种IT结构被证明非常适合数据聚类。虽然IT中存在一些冗余边,但它们通常具有显著的特征,因此删除它们并不难。随后,为了防止出现看似冗余的边缘,我们提出了最近邻下降(NND),通过添加“邻居”约束ND。因此,集群自动出现,而无需删除冗余边缘的额外要求。然而,NND被证明仍然不是完美的,因为它带来了一个新的但更糟糕的问题,“过度划分”问题。现在,在本文中,我们提出了一种方法,称为分层最近邻下降(H-NND),它克服了NND的过度划分问题,通过使用分层策略。具体来说,H-NND使用ND来有效地合并NND产生的过度分段的子图或聚类。与ND一样,H-NND也生成IT结构,其中冗余边再次出现。这似乎又回到了ND面临的情况。然而,与ND相比,由H-NND生成的IT结构中的冗余边通常变得更加突出,因此即使通过将边长度作为唯一度量的最简单的边去除方法也更容易和更可靠地被识别。换句话说,由H-NND构造的IT结构变得更适合数据聚类。我们证明了这几个不同形状,尺寸和属性的聚类数据集。此外,与ND相比,H-NND通常需要更少的计算时间来构造输入数据的IT数据结构。
2016-03-04 cs.CV cs.LG stat.ME
ParChain: A Framework for Parallel Hierarchical Agglomerative Clustering using Nearest-Neighbor Chain
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);UC Riverside(加利福尼亚大学河滨分校)
本文研究了层次聚类问题,其目标是产生一个树状图,表示聚类在不同规模的数据集。我们提出了ParChain框架设计并行层次凝聚聚类(HAC)算法,并使用该框架,我们获得新的并行算法的完整的联系,平均联系,和沃德的联系标准。与大多数需要二次存储的并行HAC算法相比,我们的新算法只需要线性存储,并且可扩展到大数据集。ParChain基于我们对最近邻链算法的并行化,并允许在每一轮合并多个集群。我们介绍了两个关键的优化,是至关重要的效率:范围查询优化,减少了距离计算的数量时,找到最近的邻居的集群,和缓存优化存储的子集以前计算的距离,这是可能被重用。实验表明,我们的高度优化的实现使用48个核心的双向超线程实现5.8- 110.1倍的加速比最先进的并行HAC算法,并实现13.75- 54.23倍的自相关加速比。与最先进的算法相比,我们的算法所需的空间减少了237.3倍。我们的算法能够扩展到具有数千万个点的数据集大小,这是现有算法无法处理的。
2022-02-14 cs.DB cs.DC cs.DS
PECANN: Parallel Efficient Clustering with Graph-Based Approximate Nearest Neighbor Search
MIT(麻省理工学院)
本文提出统一密度峰值聚类变体的并行框架 PECANN,通过基于图的近似最近邻搜索和倍增搜索技术实现高效谓词搜索,在高维大规模数据上相比现有方法实现最高两个数量级的加速。
2025-06-03 cs.DC cs.DS cs.LG
Scalable Density-based Clustering with Random Projections
University of Auckland(奥克兰大学)
本研究提出可扩展密度聚类算法sDBSCAN及配套sOPTICS,利用随机投影提升高维聚类效率,支持多种距离度量,在百万级数据集上速度远快于传统方法且精度更高。
2025-05-18 cs.CV cs.LG
Understanding human mobility patterns in Chicago: an analysis of taxi data using clustering techniques
New York University(纽约大学)
本研究利用芝加哥2016年出租车数据,通过聚类技术分析社区间移动模式,以指导公共交通规划并绘制交通流向,区分出发与到达区域,采用有向图方法处理。代码已开源。
2023-06-21 cs.LG cs.SI
A Center in Your Neighborhood: Fairness in Facility Location
University of Pennsylvania(宾夕法尼亚大学);Iowa State University(爱荷华州立大学)
在为一组设施选择位置时,标准聚类算法可能会对某些个人和社区造成不公平的负担。我们制定了一个公平的概念,考虑到当地的人口密度。特别是,给定$k$设施定位和人口的大小$n$,我们定义的“邻域半径”的个人$i$为最小半径的球中心的$i$,至少包含$n/k$个人。我们的目标是确保每个人都有一个设施,最多一个小的常数因子,她的邻居半径。我们提出了几个理论结果:我们表明,优化这个因素是NP-困难的,我们给出了一个近似算法,保证在所有度量空间的一个因素,最多为2,我们证明匹配的下界在一些度量空间。我们将该算法的一个变体应用于现实世界的地址数据,表明它与标准聚类算法有很大不同,在我们的目标函数上优于它们,并且更均匀地平衡设施之间的负载。
2019-08-30 cs.DS cs.LG stat.ML
Image Clustering Algorithm Based on Self-Supervised Pretrained Models and Latent Feature Distribution Optimization
School of Communication and Information Engineering, Shanghai University(上海大学通信与信息工程学院)
针对现有深度聚类算法精度偏低的问题,提出结合自监督预训练模型微调、k近邻距离压缩与聚类质心距离优化的图像聚类算法,在多数据集上取得SOTA结果,小类别数据集上精度接近监督方法。
2024-08-10 cs.CV cs.LG
Round-Trip KNN Clustering: multiscale hierarchical cluster detection on directed nearest-neighbour graphs
São Paulo State University (UNESP)(圣保罗州立大学)
提出往返KNN聚类方法,在有向最近邻图上多尺度检测层次簇,无需预设簇数,经细化提升聚类精度,在合成数据上表现优异。
2026-10-06 cs.LG stat.ML
Neighborhood Contrastive Learning for Novel Class Discovery
University of Trento(特伦托大学);Xiamen University(厦门大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
在本文中,我们解决了新的类发现(NCD),在一组未标记的样本中发现新的类的任务,给定一个带有已知类的标记数据集。我们利用NCD的特点,建立一个新的框架,命名为邻域对比学习(NCL),学习判别表示,是重要的聚类性能。我们的贡献是双重的。首先,我们发现在标记集上训练的特征提取器生成表示,其中通用查询样本及其邻居可能共享同一个类。我们利用这一观察结果来检索和聚合伪正对与对比学习,从而鼓励模型学习更多的歧视性表示。其次,我们注意到大多数实例很容易被网络区分,对对比损失的贡献较小。为了克服这个问题,我们建议通过在特征空间中混合标记和未标记的样本来生成硬底片。我们的实验证明,这两个成分显着有助于聚类性能,并导致我们的模型以较大幅度优于最先进的方法(例如,CIFAR-100上的聚类准确率为+13%,ImageNet上为+8%)。
2021-06-20 cs.AI cs.CV cs.LG
Neighborhood Gradient Clustering: An Efficient Decentralized Learning Method for Non-IID Data Distributions
Purdue University(普渡大学)
分布式数据集上的分散式学习在代理之间可能具有显著不同的数据分布。现有的分布式算法大多假设数据分布是独立同分布的。本文的重点是改进非IID数据的分散学习。我们提出了\textit{Neighborhood Gradient Clustering (NGC)},一种新的分散式学习算法,修改每个代理使用自我和交叉梯度信息的局部梯度。一对相邻智能体的交叉梯度是一个智能体的模型参数相对于另一个智能体的数据集的导数。特别地,所提出的方法用自梯度、模型变量交叉梯度(邻居参数相对于本地数据集的导数)和数据变量交叉梯度(本地模型相对于其邻居数据集的导数)的加权平均值来替换模型的局部梯度。通过额外的通信回合聚合数据变量交叉梯度,而不打破隐私约束。此外,我们提出了\textit{CompNGC},一个压缩版本的\textit{NGC},减少了通信开销的$32 \times$。我们从理论上分析了所提出的算法的收敛速度,并证明了其效率从{各种视觉和语言}训练数据集采样的非IID数据。我们的实验表明,\textit{NGC}和\textit{CompNGC}优于(通过$0-6\%$)现有的SoTA分散式学习算法在非IID数据的计算和内存需求显着减少。此外,我们的实验表明,在每个代理本地可用的模型变量交叉梯度信息可以通过$1-35\%$提高非IID数据的性能,而无需额外的通信成本。
2023-03-20 cs.DC cs.LG cs.MA
Divide-Then-Rule: A Cluster-Driven Hierarchical Interpolator for Attribute-Missing Graphs
College of Computer Science and Technology(计算机科学与技术学院);National University of Defense Technology(国防科技大学);Xiangjiang Laboratory(湘江实验室);Hainan University(海南大学);Changsha University(长沙大学);Qilu University of Technology(齐鲁工业大学);North University of China(北方工业大学)
针对属性缺失图的深度图聚类难题,提出分而治之的DTRGC方法,通过动态簇感知传播、层次插补和跳级增强,显著提升聚类性能。
2025-08-05 cs.AI cs.LG
Extend natural neighbor: a novel classification method with self-adaptive neighborhood parameters in different stages
Chongqing University(重庆大学)
各种基于k-近邻(KNN)的分类方法是许多成熟的、高性能的模式识别技术的基础,但它们都容易受到参数选择的影响。从本质上讲,挑战在于检测各种数据集的邻域,而完全不知道数据特征。本文介绍了一种新的监督分类方法--扩展自然近邻(ENaN)方法,并证明了该方法无需人为选择邻域参数就能获得较好的分类结果。与需要先验k的原始基于KNN的方法不同,ENaNE方法在不同阶段预测不同的k。因此,ENaNE方法能够在训练阶段和测试阶段从灵活的邻居信息中学习更多,并提供更好的分类结果。
2016-12-07 cs.AI cs.LG
Clustering of Big Data with Mixed Features
Trinity College Dublin(都柏林圣三一学院)
对大规模混合数据进行聚类是数据挖掘的核心问题。许多方法采用k-means的思想,因此对初始化敏感,仅检测球形聚类,并且需要先验未知的聚类数量。本文提出了一种新的混合类型大数据聚类算法,旨在提高峰值发现技术的适用性和效率。改进有三个方面:(1)该算法适用于混合数据;(2)该算法能够检测出离群点和密度值相对较低的聚类;(3)该算法能够确定正确的聚类数。通过应用快速k-近邻方法和缩小到分量集,大大降低了算法的计算复杂度。我们目前的实验结果,以验证我们的算法在实践中工作得很好。关键词:聚类;大数据;混合属性;密度峰;最近邻图;电导。
2020-11-11 cs.LG stat.ML
An alternative proof of the vulnerability of retrieval in high intrinsic dimensionality neighborhood
Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(信息与随机系统研究所)
本文研究了数据分析和机器学习中的关键工具最近邻搜索的脆弱性。该漏洞被衡量为攻击者需要添加到数据集点上以修改其邻居排名w.r.t.的相对扰动量。查询。这个数量的统计分布是从简单的假设中得出的。六个大规模数据集上的实验验证了该模型的一些离群值,这些离群值被解释为违反了假设。
2022-05-20 cs.LG math.PR stat.ML
Bagged $k$-Distance for Mode-Based Clustering Using the Probability of Localized Level Sets
University of Twente(特文特大学)
在本文中,我们提出了一个集成学习算法命名为\textit{bagged $k$-distance for mode-based clustering}(\textit{BDMBC})通过提出一个新的测量称为\textit{probability of localized level sets}(\textit{PLLS}),这使我们能够找到所有的集群为不同的密度与一个全局阈值。在理论方面,我们表明,与适当选择的最近邻数$k_D$在袋装$k$ -距离,子样本大小$s$,装袋轮$B$,和最近邻数$k_L$的本地化水平集,BDMBC可以实现最佳的模式估计的收敛速度。事实证明,在相对小的$B$的情况下,子样本大小$s$可以远小于每个装袋轮的训练数据$n$的数量,并且可以同时减少最近邻居$k_D$的数量。此外,我们建立的水平集估计的PLLS的Hausdorff距离方面的最佳收敛结果,这表明,BDMBC可以找到本地化的水平集的不同密度,从而享有局部自适应性。在实际应用方面,通过数值实验验证了BDMBC算法在模式估计和水平集估计中的有效性,证明了算法的准确性和有效性.
2022-10-18 cs.LG stat.ML
CEU-Net: Ensemble Semantic Segmentation of Hyperspectral Images Using Clustering
大多数高光谱图像的语义分割方法都需要对遥感图像进行预处理,以实现对不同土地覆盖类型的准确分类。这些方法使用修补来将丰富的邻域信息纳入图像中,并利用最常见的HSI数据集的简单性和可分割性。相比之下,世界上大多数陆地由重叠和分散的类组成,使得邻域信息比常见的HSI数据集中看到的要弱。为了解决这个问题,并将分割模型推广到更复杂和更多样化的HSI数据集,在这项工作中,我们提出了我们的新旗舰模型:聚类EnergyU-Net(CEU-Net)。CEU-Net使用集成方法将从卷积神经网络(CNN)训练中提取的光谱信息结合在一组景观像素上。我们的CEU-Net模型优于现有的最先进的HSI语义分割方法,并在与基线模型相比时,无论是否打补丁,都具有竞争力的性能。我们强调CEU-Net在博茨瓦纳,KSC和萨利纳斯数据集上的高性能,与HybridSN和AeroRIT方法相比。
2022-03-14 cs.CV cs.LG
IAN: Iterated Adaptive Neighborhoods for manifold learning and dimensionality estimation
Yale University(耶鲁大学)
在机器学习中验证流形假设需要了解流形的几何形状和维度,并且理论规定需要多少样本。然而,在应用程序中的数据是有限的,采样可能是不均匀的,流形属性是未知的,(可能)非纯的,这意味着邻居必须适应当地的结构。我们介绍了一种算法,用于推断自适应邻域的相似性核的数据。从一个局部保守的邻域(加布里埃尔)图开始,我们根据加权对应物迭代地稀疏化它。在每一步中,线性规划产生全局最小邻域,并且体积统计揭示可能违反流形几何的邻域离群值。我们将自适应邻域应用于非线性降维、测地线计算和维数估计。与标准算法的比较,例如,k-近邻,证明了它们的有用性。我们的算法代码将在https://github.com/dyballa/IAN上提供
2023-01-07 cs.AI cs.CG cs.LG