Towards Robust and Scalable Density-based Clustering via Graph Propagation
School of Computer Science, University of Auckland, New Zealand(奥克兰大学计算机科学学院);Department of Mathematics and Computer Science, University of Southern Denmark, Denmark(丹麦南部大学数学与计算机科学系)
本文提出CluProp框架,将高维空间中的变密度聚类转化为邻域图上的标签传播过程,通过高效的传播机制缓解传统密度方法的参数敏感性,实现大规模数据的高效准确聚类。
2026-08-27 cs.LG
Geometric Affinity Propagation for Clustering with Network Knowledge
Texas A&M University(德克萨斯农工大学)
将数据聚类成有意义的子集是科学数据分析中的一项主要任务。迄今为止,各种策略,从基于模型的方法,以数据驱动的计划,已被设计为高效和准确的聚类。一类重要的聚类方法,是一个特别感兴趣的是类基于样本的方法。这种兴趣主要源于这些样本中编码的压缩信息量,这些样本有效地反映了相应聚类的主要特征。亲和传播(AP)已被证明是一个强大的基于样本的方法,通过迭代的成对消息更新来细化最佳样本集。然而,一个关键的限制是它无法利用已知的数据点之间的网络关系,往往可用于各种科学数据集。为了缓解这一缺点,我们提出了几何AP,一种新的聚类算法,有效地扩展AP利用网络拓扑结构。Geometric-AP遵守网络约束,并使用最大和信念传播来利用可用的网络拓扑在网络上生成平滑的聚类。广泛的性能评估显示,一个显着的增强质量的聚类结果相比,基准聚类方案。特别是,我们证明了几何AP执行非常好,即使在原始AP彻底失败的情况下。
2021-03-26 cs.LG
Local and global approaches of affinity propagation clustering for large scale data
School of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
最近提出了一种新的聚类算法,称为“亲和传播”(AP),有效地聚类稀疏相关的数据之间传递消息的数据点。然而,我们希望对大规模数据进行聚类,其中在许多情况下相似性并不稀疏。本文提出了两种变体的AP大规模数据的密集相似矩阵进行分组。局部方法是分区亲和传播(PAP),全局方法是地标亲和传播(BMAP)。PAP算法先在数据子集中传递消息,然后合并数据子集作为初始迭代步数,可以有效减少聚类的迭代次数。它首先在界标数据点之间传递消息,然后对非界标数据点进行聚类;它是一种大型全局近似方法,可以加快聚类速度。在随机数据点集、流形子空间、人脸图像和汉字书法等数据集上进行了实验,实验结果证明了这两种方法的可行性和实用性。
2009-10-09 cs.CV cs.LG
Application of the Affinity Propagation Clustering Technique to obtain traffic accident clusters at macro, meso, and micro levels
Federal University of Rio Grande do Sul(南里奥格兰德联邦大学)
事故分组是确定事故多发地点的关键步骤。在不同的事故分组模式中,聚类方法在发现事故在空间上的不同分布方面表现出优异的性能。这项工作介绍了相似性传播聚类(APC)方法分组交通事故的基础上,在空间中的数据点分布之间的相似性和相异性的标准。APC从实例之间的相似性矩阵提供了事件分布的更真实的表示。结果表明,当获得具有代表性的数据样本时,相似性偏好参数为模型的校准和根据期望特征生成聚类提供了必要的性能。此外,研究表明,偏好参数作为一个连续的参数,有利于校准和控制模型的收敛性,允许发现聚类模式与更少的努力和更大的控制结果
2022-02-09 cs.DC cs.LG
Clustering based on the In-tree Graph Structure and Affinity Propagation
University of Electronic Science and Technology of China(电子科技大学)
最近提出的一种聚类方法,称为最近下降(ND),可以将整个数据集组织成一个稀疏连接的图,称为In-tree。这种基于ND的In-tree结构被证明能够揭示数据集底层的聚类结构,除了一个不完美的地方,即在这个In-tree中有一些不需要的边需要被移除。在这里,我们提出了一种有效的方法来自动删除不需要的边缘,在树通过一个有效的结合在树结构与亲和传播(AP)。该组合的关键是在In-tree中可达节点之间添加边,然后使用AP删除不需要的边。在人工数据集和真实数据集上的实验证明了该方法的有效性。
2018-01-29 cs.CV cs.LG stat.ML
Incremental Affinity Propagation based on Cluster Consolidation and Stratification
针对动态数据集增量聚类需求,提出基于簇合并与分层的后验亲和传播算法APP,无需全量重聚类即可动态合并新对象、支持遗忘过时簇,在4个数据集上性能与传统AP、IAPNA相当且兼具可扩展性。
2024-01-25 cs.LG cs.NE
Clustering by transitive propagation
Cold Spring Harbor Laboratory(冷泉港实验室)
我们提出了一个全局优化算法的聚类数据给定的比率的可能性,每对数据点是在同一个集群或在不同的集群。为了根据成对关系定义聚类解,一个充分必要条件是属于同一个聚类满足传递性。我们定义了一个全局目标函数的基础上成对似然比和传递性约束的所有三元组,分配一个相等的先验概率的所有聚类解决方案。我们通过在相应的因子图上实现最大和消息传递来最大化目标函数,从而达到O(N^3)算法。最后,我们展示了一个应用程序的启发突变测序解码随机二进制字通过噪声信道传输。
2015-06-09 cond-mat.stat-mech cs.LG stat.ML
Forest Fire Clustering for Single-cell Sequencing with Iterative Label Propagation and Parallelized Monte Carlo Simulation
Yale University(耶鲁大学);Massachusetts Institute of Technology(麻省理工学院);University of California, Irvine(加州大学欧文分校)
在单细胞测序时代,越来越需要使用聚类方法从数据中提取见解。在这里,我们介绍森林火灾聚类,一种有效的和可解释的方法,从单细胞数据的细胞类型发现。森林火灾聚类使得最小的先验假设,并且与当前方法不同,计算每个细胞被分配细胞类型标签的非参数后验概率。这些后验分布允许评估每个细胞的标签置信度,并能够计算“标签熵”,突出显示沿发育轨迹的过渡。此外,我们表明,森林火灾聚类可以在在线学习环境中进行鲁棒的归纳推理,并且可以轻松扩展到数百万个单元格。最后,我们证明了我们的方法优于国家的最先进的聚类方法在不同的基准模拟和实验数据。总体而言,森林火灾聚类是一个有用的工具,在大规模的单细胞分析中发现罕见的细胞类型。
2022-05-26 cs.LG stat.ML
Approximate Collapsed Gibbs Clustering with Expectation Propagation
University of Washington(华盛顿大学)
我们开发了一个框架,近似崩溃的吉布斯抽样生成潜变量集群模型。Collapsed Gibbs是一种流行的MCMC方法,它在后验中整合变量以改善混合。不幸的是,对于许多复杂的模型,整合出这些变量是分析或计算上难以处理的。我们有效地近似必要的崩溃吉布斯积分借用的想法从期望传播。我们提出了两个案例研究,其中精确的崩溃吉布斯抽样是棘手的学生-t的和时间序列聚类的混合物。我们对真实数据和合成数据的实验表明,我们的近似采样器能够在对这些类型的模型进行采样时实现运行时精度的权衡,从而比在这些情况下依赖的天真Gibbs采样器更快地提供具有竞争力的精度的结果。
2018-07-19 cs.LG stat.CO stat.ML
Clustering Based on Density Propagation and Subcluster Merging
School of Artificial Intelligence, OPtics and ElectroNics (iOPEN)(人工智能、光学与电子学院(iOPEN));School of Computer Science(计算机学院);Northwestern Polytechnical University(西北工业大学)
提出DPSM密度聚类方法,通过密度传播自动确定簇数并适用于图空间,结合CluCut度量指导子簇合并,实验验证其有效性。
2024-11-04 cs.LG stat.ML
Enhanced Ensemble Clustering via Fast Propagation of Cluster-wise Similarities
South China Agricultural University(华南农业大学);Nanyang Technological University(南洋理工大学);Sun Yat-sen University(中山大学)
包围聚类是数据采掘和机器学习领域的一个研究热点。尽管集成聚类近年来取得了显著的进展,但目前的集成聚类研究仍然存在两个具有挑战性的问题。首先,大多数现有算法倾向于在对象级别上研究集成信息,但往往缺乏在更高粒度级别上探索丰富信息的能力。其次,他们主要关注直接联系(例如,直接相交或成对共现),但通常忽略了隐藏在其中的多尺度间接关系。为了解决这两个问题,本文提出了一种新的集成聚类方法的基础上快速传播的聚类相似性,通过随机游走。我们首先构建一个集群相似性图的基础集群视为图形节点和集群的Jaccard系数利用计算初始边的权重。在所构造的图上,定义转移概率矩阵,基于该转移概率矩阵进行随机游走过程以传播图的结构信息。具体地说,通过研究从不同节点开始的传播轨迹,可以通过考虑轨迹关系来导出新的聚类相似性矩阵。然后,将新得到的聚类相似度矩阵从聚类级映射到对象级,得到一个增强型共关联(ECA)矩阵,该矩阵能够同时捕获集合中对象级的同现关系和多尺度聚类关系.最后,提出了两个新的一致性函数,以获得一致性聚类结果。在各种真实世界数据集上进行的广泛实验已经证明了我们方法的有效性和效率。
2018-10-30 cs.LG stat.ML
SPORE: Skeleton Propagation Over Recalibrating Expansions
Randolph Wiredu-Aidoo
提出一种两阶段密度聚类算法SPORE,通过自适应扩展和边界传播解决异质密度和边界模糊问题,在28个基准数据集上显著优于现有方法。
2026-05-30 cs.LG
Rethinking Personalized Federated Learning with Clustering-based Dynamic Graph Propagation
The Pennsylvania State University(宾夕法尼亚州立大学);Visa Research(Visa研究院)
针对现有个性化联邦学习方法实现与调参复杂的问题,本文提出基于聚类动态图传播的简洁框架,通过聚类建图传播更新参数并设计个性化分配策略,经多数据集实验验证了有效性。
2024-01-29 cs.DC cs.LG
Latent Geometry Inspired Graph Dissimilarities Enhance Affinity Propagation Community Detection in Complex Networks
Technische Universität Dresden(德累斯顿工业大学)
仿射传播是高维特征空间数据聚类的一种有效的无监督模式识别算法。然而,无数的尝试,以测试其性能的社区发现在复杂的网络中已经取得的结果非常远离国家的最先进的方法,如Infomap和Louvain。然而,所有这些研究都认为,关键问题是将未加权的网络拓扑转换为“足够智能”的节点相异性矩阵,该矩阵能够正确地解决亲和传播聚类背后的消息传递过程。在这里,我们介绍了一个概念上的创新,我们讨论了如何利用网络潜在的几何概念,以设计相似性传播社区发现的相异性矩阵。我们的研究结果表明,潜在的几何启发相异度的措施,我们设计带来的亲和传播等于或优于当前最先进的方法社区发现。考虑到合成的“真实”网络(具有已知的地面真实社区)和真实网络(具有社区元数据),即使数据结构被丢失或虚假连接人为引起的噪声破坏,这些发现也得到了可靠的证明。
2018-08-29 cs.LG cs.SI physics.soc-ph
Hierarchical Affinity Propagation
University of Toronto(多伦多大学)
亲和传播是一种基于样本的聚类算法,它找到一组最好的数据点,并将每个数据点与一个样本相关联。我们扩展亲和传播的原则性的方式来解决层次聚类问题,这出现在各种领域,包括生物学,传感器网络和决策运筹学。我们推导出一个推理算法,通过传播信息上下的层次结构,是有效的,尽管所需的图形模型制定的高阶电位。我们证明,我们的方法优于贪婪的技术,集群一层的时间。我们表明,在一个人工数据集设计模仿艾滋病毒株突变动态,我们的方法优于相关方法。对于真实的HIV序列,在地面真相不可用的情况下,我们表明我们的方法在潜在的目标函数方面取得了更好的结果,并显示结果与地理位置和毒株亚型有意义地对应。最后,我们报告的结果使用的方法进行质谱分析,显示它表现良好相比,国家的最先进的方法。
2012-02-14 cs.AI cs.LG stat.ML
Detecting Backdoor Poisoning Attacks on Deep Neural Networks by Heatmap Clustering
University of Konstanz(康斯坦茨大学)
神经网络做出的预测可以被所谓的中毒攻击欺骗性地改变。一个特殊的情况是后门中毒攻击。我们研究了合适的检测方法,并介绍了一种新的方法,称为热图聚类。在那里,我们将$k$均值聚类算法应用于由最先进的可解释AI方法分层相关传播产生的热图。目标是将数据集中的中毒数据与未中毒数据分开。我们比较这种方法与类似的方法,称为激活聚类,它也使用$k$均值聚类,但适用于激活的某些隐藏层的神经网络作为输入。我们测试了这两种方法的性能标准后门中毒攻击,标签一致的中毒攻击和标签一致的中毒攻击,减少幅度贴纸。我们表明,热图聚类始终优于激活聚类。然而,当考虑标签一致的中毒攻击,后者的方法也产生良好的检测性能。
2022-04-27 cs.CR cs.LG
FACROC: a fairness measure for FAir Clustering through ROC curves
University of Koblenz(科伦兹大学);Hanoi University of Science and Technology(河内科学技术大学);Hanoi University of Industry(河内工业大学);University of Sheffield(谢菲尔德大学)
本文提出FACROC,一种基于ROC曲线和AUCC的公平聚类可视化度量方法,通过比较不同受保护属性取值下的ROC曲线差异来评估聚类公平性,并在多个数据集和模型上验证其有效性。
2025-03-02 cs.LG
Deep Clustering Evaluation: How to Validate Internal Clustering Validation Measures
University of Kentucky(肯塔基大学)
本文针对深度聚类评估中传统内部聚类验证指标的问题,提出一套系统评估框架,通过理论分析、识别可靠嵌入空间及加权评分,减少不当使用指标的误导,提升与外部指标的一致性。
2026-08-25 cs.LG stat.ML
Semi-Supervised Graph Learning Meets Dimensionality Reduction
University of Missouri(密苏里大学)
半监督学习(SSL)最近受到了机器学习研究人员越来越多的关注。通过在基于图的深度学习(GDL)算法中实现已知标签的有效传播,SSL有望在未来几年成为GDL中越来越多使用的技术。然而,目前很少有探索在基于图的SSL文献利用经典的降维技术,以改善标签传播。在这项工作中,我们研究了PCA,t-SNE和UMAP等降维技术的使用,以了解它们对用于节点标签半监督传播的图神经网络(GNNs)性能的影响。我们的研究利用基准半监督GDL数据集,如Cora和Citeseer数据集,以便在与降维技术配对时对每个算法学习的表示进行有意义的比较。我们全面的基准测试和聚类可视化定量和定性地证明,在一定条件下,分别对GNN输入和输出进行先验和后验降维,可以同时提高半监督节点标签传播和节点聚类的有效性。我们的源代码在GitHub上免费提供。
2022-03-23 cs.AI cs.LG
Exhaustive and Efficient Constraint Propagation: A Semi-Supervised Learning Perspective and Its Applications
Peking University(北京大学)
本文提出了一种新的成对约束传播方法,通过将具有挑战性的约束传播问题分解为一组独立的半监督学习子问题,可以使用基于k-近邻图的标签传播在二次时间内解决。考虑到这个时间成本与所有可能的成对约束的数量成比例,我们的方法实际上提供了一个有效的解决方案,用于在整个数据集中穷举传播成对约束。传播成对约束的穷举集进一步用于调整约束谱聚类的相似性矩阵。除了传统的单源数据上的约束传播,我们的方法还扩展到更具挑战性的多源数据上的约束传播,其中每个成对约束定义在来自不同源的一对数据点上。这种多源约束传播在跨模态多媒体检索中有重要的应用。大量的结果表明,我们的方法的优越性能。
2011-09-22 cs.AI cs.LG
Unsupervised Feature Learning Architecture with Multi-clustering Integration RBM
Southwest Jiaotong University(西南交通大学);Sichuan University(四川大学);University of Macau(澳门大学)
在本文中,我们提出了一种新的无监督特征学习架构,它包括一个多聚类集成模块和一个变种的RBM称为多聚类集成RBM(MIRBM)。在多聚类集成模块中,我们采用三种无监督的K-均值,亲和传播和谱聚类算法,以获得三个不同的聚类分区(CP)没有任何背景知识或标签。然后,一致投票策略被用来产生一个局部聚类划分(LCP)。新颖的MIRBM模型是所提出的无监督特征学习架构的核心特征编码部分。它的新颖之处在于,LCP作为一种无监督的指导被集成到一步对比发散(CD 1)学习中,以指导隐藏层特征的分布。对于同一LCP集群中的实例,所提出的架构中的MIRBM模型的隐藏层特征和重构的隐藏层特征在训练过程中倾向于压缩在一起。同时,在训练过程中,每个LCP中心在隐藏层和重建的隐藏层中倾向于尽可能地分散。实验结果表明,所提出的无监督特征学习架构具有更强大的特征表示和泛化能力比最先进的图正则化RBM(GraphRBM)在微软亚洲研究院多媒体(MSRA-MM)2.0数据集的聚类任务。
2020-04-02 cs.LG stat.ML
Clustering above Exponential Families with Tempered Exponential Measures
Google Research(谷歌研究院)
与指数家庭的联系,使$k$ -均值聚类被推广到各种各样的数据生成分布在指数家庭和Bregman分歧之间的聚类失真。让框架在指数族之上工作对于消除障碍很重要,比如在公理化中雕刻的一些人口最小化器缺乏鲁棒性。目前的指数族的推广,如$q$ -指数族或甚至变形指数族未能实现该目标。在本文中,我们提供了一个新的尝试,在得到完整的框架,接地在一个新的概括指数家庭,我们介绍,回火指数措施(TEM)。TEM保持了$q$ -指数族的最大熵公理化框架,但不是将度量标准化,而是将称为共分布的对偶标准化。许多有趣的属性出现聚类,如人口最小化的改进和可控的鲁棒性,保持一个简单的分析形式。
2022-11-04 cs.LG
Trajectory Clustering Performance Evaluation: If we know the answer, it's not clustering
Polytechnique Montréal(蒙特利尔理工学院)
智能交通系统(ITS)的进步使得通过自动数据汇集可以获得大量的交通数据。这些数据的很大一部分存储为移动车辆和道路使用者的轨迹。在最少的人为监督下自动分析这些数据既可以降低成本,又可以消除分析的主观性。轨迹聚类是一个无监督的任务。在本文中,我们进行了全面的比较相似性措施,聚类算法和评价措施,使用轨迹数据从七个交叉口。我们还提出了一种方法来自动生成轨迹参考集群的基础上,他们的原点和目的地点,用于基于标签的评估措施。因此,整个过程在聚类和评价水平上都是无监督的。最后,我们使用一个组合的评估措施,找到最好的执行相似性措施和聚类算法的每个路口。结果表明,没有一种距离和聚类算法的单一组合总是在前十名的聚类设置中。
2021-12-02 cs.AI cs.LG
Fast and Scalable Semi-Supervised Learning for Multi-View Subspace Clustering
Tsinghua University(清华大学);Yau Mathematical Sciences Center, Tsinghua University(清华大学丘成桐数学科学中心);Beijing Institute of Mathematical Sciences and Applications(北京数学科学与应用研究院)
针对现有多视图子空间聚类方法计算复杂度高的问题,提出了具备线性复杂度的FSSMSC方法,通过统一优化模型同步学习锚图与标签传播,结合交替更新算法和低维表示推导实现高效聚类,经多规模基准实验验证了其有效性与高效性。
2024-08-11 cs.LG
Using Gaussian Measures for Efficient Constraint Based Clustering
Montana State University(蒙大拿州立大学)
在本文中,我们提出了一种新的迭代多相聚类技术,有效地聚类高维数据点。为了这个目的,我们实现聚类特征(CF)树上的一个真正的数据集和高斯密度分布约束的CF树。通过在微簇上应用高斯密度分布函数进行后处理,导致先前形成的簇的细化,从而提高它们的质量。该算法还成功地克服了传统的分层聚类方法的固有缺点,如无法撤销对数据点的树状图所做的更改。此外,该算法中应用的约束措施,使这种聚类技术适用于需要驱动的数据分析。我们提供的准确性,我们的索赔评估我们的算法与其他类似的聚类算法。介绍
2014-11-12 cs.IR cs.LG
A New Homogeneity Inter-Clusters Measure in SemiSupervised Clustering
University of Tunis(突尼斯大学)
在数据采掘的许多研究中,提出了一种新的学习方法,称为半监督学习。这种类型的学习结合了难以获得的未标记和标记数据。然而,在无监督方法中,仅使用未标记的数据。半监督聚类结果的重要性和有效性问题越来越受到人们的重视。通过改进相似度计算方法,可以提高聚类的准确率。因此,我们引入了一种新的方法,半监督聚类使用一个创新的新的同质性措施产生的集群。我们的实验结果表明,显着提高准确性的结果。
2013-04-13 cs.LG
Clustering with Missing Features: A Penalized Dissimilarity Measure based approach
Indian Statistical Institute(印度统计研究所);Jadavpur University(贾达普大学)
许多现实世界的聚类问题都受到不完整数据的困扰,这些数据的特征是某些或所有数据实例的特征缺失或缺失。传统的聚类方法不能直接应用于这样的数据,没有预处理的插补或边缘化技术。在这篇文章中,我们克服了这个缺点,利用惩罚相异性措施,我们称之为特征加权惩罚的差异(FWPD)。利用FWPD测度,对传统的k-means聚类算法和标准的层次凝聚聚类算法进行了改进,使其直接适用于特征缺失的数据集。我们提出了这些新技术的时间复杂度分析,并进行了详细的理论分析表明,新的基于FWPD的k-means算法收敛到一个局部最优在有限数量的迭代。我们还提出了一个详细的方法来模拟随机以及功能相关的缺失。我们报告了针对不同类型缺失的各种基准数据集的广泛实验,表明与通常用于处理此类不完整数据的一些最知名的插补方法相比,所提出的聚类技术通常具有更好的结果。我们附加了一个可能的扩展建议的相异性措施的情况下,不存在的功能(其中未观察到的功能是已知的未定义)。
2018-07-07 cs.LG
Clustering Structure of Microstructure Measures
Cornell University(康奈尔大学)
本文建立了股票收益率预测中常用的市场微观结构特征测度的聚类模型。在10秒的时间-频率中,我们研究了不同度量的聚类结构,以找出最好的预测。通过这种方式,我们可以使用有限数量的预测因子进行更准确的预测,从而消除噪音并使模型更具可解释性。
2021-12-25 cs.LG q-fin.ST stat.ME
Deep Clustering of Compressed Variational Embeddings
Duke University(杜克大学);University of Minnesota-Twin Cities(明尼苏达大学双城分校)
出于对有限的通信带宽和低功耗的需求不断增长,我们提出了一种新的方法,命名为联合变分自动编码器与伯努利混合模型(VAB),在压缩数据域进行聚类。其思想是通过变分自编码器(VAE)降低数据维度,并通过伯努利混合模型(BAE)对数据表示进行分组。一旦针对压缩和聚类进行了联合训练,模型就可以分解为两个部分:将原始数据编码为压缩数据的数据供应商,以及对接收到的(压缩)数据进行分类的数据消费者。通过这种方式,数据供应商受益于数据安全性和通信带宽,而数据消费者受益于低计算复杂性。为了使用梯度下降算法进行训练,我们建议使用Gumbel-Softmax分布来解决在评估分类样本时反向传播算法的不可行性。
2019-10-23 cs.LG eess.IV stat.ML
Clustering Time-Series by a Novel Slope-Based Similarity Measure Considering Particle Swarm Optimization
Southern Methodist University(南卫理公会大学);Amirkabir University of Technology(阿米尔卡比尔理工大学)
由于时间序列在各个领域的广泛存在,近年来对时间序列数据采掘的研究越来越多,特别是时间序列聚类。时间序列形式的大量数据使得有必要采用诸如聚类的各种技术来理解数据并提取信息和隐藏模式。在聚类领域,特别是时间序列聚类中,最重要的方面是所使用的相似性度量和用于进行聚类的算法。在本文中,一个新的相似性度量的时间序列聚类的基础上开发的一个简单的时间序列表示,斜率的时间序列的每一段,欧氏距离和所谓的动态时间弯曲的组合。本文证明了所提出的距离度量是度量的,从而可以应用索引。对于聚类任务,采用粒子群优化算法。建议的相似性度量进行比较,现有的三种措施,用于评估聚类算法的各种标准。结果表明,该方法在几乎所有的数据集上都优于其他方法。
2019-12-05 cs.LG cs.NE stat.ML
An efficient clustering algorithm from the measure of local Gaussian distribution
本文提出了一种基于高斯分布的快速聚类算法$d_s$,该算法可以保证每个聚类中心的距离为给定的参数。该算法的最差运行时间复杂度约为$\sim$ O $(T\times N \times \log(N))$,其中$T$是迭代步骤,$N$是特征数。
2019-10-21 cs.DB cs.LG
Dissecting graph measure performance for node clustering in LFR parameter space
Moscow Institute of Physics and Technology(莫斯科物理技术学院);Institute of Control Sciences of RAS(俄罗斯科学院控制科学研究所)
表示节点之间的接近度或距离的图度量可以用于使用度量聚类算法的图节点聚类。有许多措施适用于这项任务,哪一个执行得更好是一个悬而未决的问题。我们研究了25个图的性能措施上生成的图形具有不同的参数。虽然通常测量比较仅限于特定数据集上的一般测量排名,但我们的目标是根据图形特征探索各种测量的性能。使用LFR图生成器,我们创建了一个包含11780个图的数据集,覆盖了整个LFR参数空间。对于每个图,我们评估聚类的质量与k-means算法为每个考虑的措施。在此基础上,我们为参数空间的每个区域确定最佳度量。我们发现,参数空间由不同的区域,其中一个特定的措施是最好的。我们分析了所产生的区域的几何形状,并用简单的标准描述它。给定特定的图参数,这允许我们推荐用于聚类的特定度量。
2022-02-20 cs.LG cs.SI
Comparing Graph Clusterings: Set partition measures vs. Graph-aware measures
The Tutte Institute for Mathematics and Computing(塔特数学与计算研究所)
在本文中,我们提出了一个家庭的图分区的相似性措施,考虑到图的拓扑结构。这些图形感知度量是使用不是专门为图形分区设计的集合分区相似性度量的替代方案。这两种类型的措施,图形感知和设置分区措施,示出具有相反的行为,相对于解决问题,并提供必要的补充信息,以评估两个图形分区是相似的。
2018-09-18 cs.LG stat.ML
Neighborhood Stability as a Measure of Nearest Neighbor Searchability
University of Copenhagen, Copenhagen, Denmark(哥本哈根大学);Northeastern University, Boston, MA, USA(东北大学)
本文提出两种度量方法,用于评估数据集是否可通过基于聚类的近似最近邻搜索进行搜索,且不依赖特定距离函数。
2026-02-18 cs.IR cs.LG
An expressive dissimilarity measure for relational clustering using neighbourhood trees
KU Leuven(鲁汶大学)
聚类是一项未被充分指定的任务:对于什么是好的聚类没有通用的标准。对于关系数据尤其如此,其中相似性可以基于个体的特征,它们之间的关系,或两者的混合。现有的关系聚类方法在这方面有很强的,往往是隐含的偏见。在本文中,我们介绍了一种新的关系数据的相似性度量。它是第一个包含各种相似性类型的度量,包括属性的相似性,关系上下文的相似性和超图中的相似性。我们通过实验评估了使用这种相似性如何影响不同类型数据集的聚类质量。实验表明,(a)在标准聚类方法中使用这种相似性始终会得到良好的结果,而其他措施只在与其偏差相匹配的数据集上工作良好;(b)在大多数数据集上,新的相似性甚至优于现有的最佳相似性。
2017-03-07 cs.AI cs.LG stat.ML
On Data-Independent Properties for Density-Based Dissimilarity Measures in Hybrid Clustering
Norwegian Centre for Integrated Care and Telemedicine, University Hospital of North Norway(挪威北部大学医院综合护理与远程医疗中心);Department of Mathematics and Statistics, IIT Kanpur(印度理工学院坎普尔分校数学与统计系);Department of Mathematics and Statistics, UiT The Arctic University of Norway(挪威北极大学数学与统计系)
混合聚类结合了分区和层次聚类,以提高计算效率和聚类形状的通用性。在这样的聚类中,相异性度量在分层合并中起着至关重要的作用。相异性度量对最终的聚类有很大的影响,并且需要数据独立的属性来为手头的问题选择正确的相异性度量。基于距离的相异度度量的性质已经研究了几十年,但基于密度的相异度度量的性质迄今为止很少受到关注。在这里,我们提出了六个数据独立的属性来评估与混合聚类相关的基于密度的相异性度量,关于平等,正交性,对称性,离群值和噪声观测,以及重尾集群的轻尾模型。研究了这些性质的意义,并基于Shannon熵、误分类率、Bhattacharyya距离和库尔贝克-莱布勒散度研究了一些著名的相异度度量.由于它们都不满足所有提出的性质,我们引入了一个新的相异度的Kullback-Leibler信息的基础上,并证明它满足所有提出的性质。所提出的属性的效果也说明了几个真实的和模拟的数据集。
2016-09-21 cs.LG stat.ML
Human-like Clustering with Deep Convolutional Neural Networks
University of Central Florida(中佛罗里达大学);Purdue University(普渡大学)
分类和聚类分别在机器学习和计算机视觉中进行了研究。受最近深度学习模型在解决各种视觉问题方面的成功启发(例如,对象识别、语义分割)以及人类充当评估聚类算法的黄金标准的事实,在此,我们主张对这两个问题进行统一处理,并建议在较简单的模式之上逐步构建复杂模式的分层框架(例如,卷积神经网络)提供了一种有前景的解决方案。我们没有过多地讨论这些框架中的学习机制,因为它们仍然是一个有争议的问题,关于生物学的限制。相反,我们强调现实世界的结构和对象的组合性。特别是,我们证明了使用带有噪声标签的反向传播进行端到端训练的CNN能够对属于几个重叠形状的数据点进行聚类,并且比最先进的算法做得更好。从我们的研究中得到的主要教训是,在聚类算法中应该考虑人类视觉的机制,特别是视觉腹侧流的层次组织(例如,用于以无监督的方式或以最少的监督来学习表示),以达到人类级别的聚类性能。这决不意味着其他方法没有优点。例如,依赖于成对亲和力的方法(例如,谱聚类)在许多情况下非常成功但在某些情况下仍然失败(例如,重叠簇)。
2017-12-11 cs.CV cs.LG
A Split-Merge Framework for Comparing Clusterings
Nanyang Technological University(南洋理工大学);DSO National Laboratories(国防科技组织国家实验室);Macquarie University(麦考瑞大学)
聚类评价指标经常被用来评价算法的性能。然而,大多数措施没有适当的规范化,忽略了一些信息的固有结构的聚类。我们将两个聚类之间的关系建模为一个二分图,并根据图的组成部分提出了一个通用的基于组件的分解公式。大多数现有措施都是这一公式的例子。为了满足组件的一致性,我们进一步提出了一个分裂合并框架比较不同的数据集的聚类。我们的框架给出了有条件规范化的度量,并且它可以利用数据点信息,例如特征向量和成对距离。我们使用一个基于熵的框架和一个共指消解数据集的实例,实证证明我们的框架的效用超过其他措施。
2012-09-04 cs.LG stat.ML
Towards an Axiomatic Approach to Hierarchical Clustering of Measures
Institute for Stochastics and Applications(随机与应用研究所);University of Stuttgart(斯图加特大学)
我们提出了一些公理的概率测度的层次聚类,并调查其后果。其基本思想是让用户为一些基本的措施规定聚类。这是在不需要任何度量、相似性或不相似性的概念的情况下完成的。然后,我们的主要结果表明,对于每个合适的选择用户定义的聚类的基本措施,我们得到一个独特的概念,满足一组加法和连续性公理的分布在一个大的集合上的聚类。我们说明了发达国家的理论,许多例子,包括一些和一些没有密度。
2015-08-15 cs.LG math.ST stat.ME
Semi-Supervised Learning via Compact Latent Space Clustering
Microsoft Research Cambridge(微软研究院剑桥);Imperial College London(帝国理工学院);University College London(伦敦大学学院)
我们提出了一种新的成本函数的半监督学习的神经网络,鼓励紧凑聚类的潜在空间,以促进分离。其核心思想是在一批训练样本的标记和未标记样本的嵌入上动态创建一个图,以捕获特征空间中的底层结构,并使用标签传播来估计其高密度和低密度区域。然后,我们设计了一个基于图上的马尔可夫链的成本函数,该函数对潜在空间进行正则化,以形成每个类的单个紧凑集群,同时避免在优化过程中干扰现有集群。我们在三个基准上评估我们的方法,并与最先进的方法进行比较,结果令人鼓舞。我们的方法结合了基于图的正则化与高效的归纳推理的优点,不需要修改网络架构,因此可以很容易地应用于现有的网络,以有效地使用未标记的数据。
2018-07-29 cs.CV cs.LG cs.NE