HiPart: Hierarchical Divisive Clustering Toolbox
University of Thessaly(色萨利大学);Signal Ocean SMPC(信号海洋SMPC公司)
本文提出开源Python库HiPart,提供高效可解释的分裂式层次聚类实现,支持交互式可视化干预结果,侧重计算效率适配大数据场景,依赖稳定且以MIT许可证开源。
2022-09-18 cs.AI cs.LG stat.ML
Flattening Multiparameter Hierarchical Clustering Functors
University of Oxford(牛津大学)
我们把拓扑数据分析,应用范畴理论,和机器学习研究多参数层次聚类。首先,我们介绍了一个过程,平整多参数层次聚类。我们证明了这个过程是一个函子从一类多参数层次分区一类二进制整数规划。我们还包括实证结果证明其有效性。接下来,我们将介绍一个贝叶斯更新算法,用于从数据中学习聚类参数。我们证明,该算法的组成与我们的扁平化过程满足一致性。
2021-04-30 cs.AI cs.LG
Guarantees for Hierarchical Clustering by the Sublevel Set method
Meila(2018)引入了一种基于优化的方法,称为子水平集方法,以保证聚类接近最佳和“近似正确”,而不依赖于任何关于生成数据的分布的假设。本文将Sublevel Set方法扩展到Dasgupta(2016)提出的基于成本的层次聚类范式。
2020-07-06 cs.LG stat.ML
A Novel Multi-clustering Method for Hierarchical Clusterings, Based on Boosting
Isfahan University of Technology(伊斯法罕理工大学)
Bagging和Boosting被证明是分类组合问题中构造多分类器的最佳方法。在“平坦聚类”问题的领域中,还认识到基于提升的多聚类方法提供改进质量的聚类。在本文中,我们介绍了一种新的多聚类方法的“层次聚类”的基础上提升理论,它创建一个更稳定的数据集的层次聚类。所提出的算法包括一个提升迭代,其中通过对原始数据集的元素进行加权随机采样来创建样本的自举。然后应用层次聚类算法对选定的子样本建立描述层次结构的树状图。最后,采用分层聚类组合方法将多个树图结果的相异性描述矩阵组合为一致性描述矩阵。在真实流行数据集上的实验表明,与标准的层次聚类方法相比,Boosted方法提供了更高质量的解决方案。
2018-05-29 cs.CV cs.LG stat.ML
Hierarchical Correlation Clustering and Tree Preserving Embedding
Chalmers University of Technology(查尔姆斯理工大学);Amirkabir University of Technology (Tehran Polytechnic)(阿米尔卡比尔理工大学(德黑兰理工大学))
提出层次相关聚类方法以处理正负成对不相似性,并结合树保留嵌入与极小极大距离扩展进行无监督表示学习,在多个数据集上验证了方法性能。
2025-02-03 cs.LG stat.ML
Contrastive Multi-view Hyperbolic Hierarchical Clustering
University of Electronic Science and Technology of China(电子科技大学);Tencent Inc.(腾讯公司);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng National Lab(鹏城国家实验室)
层次聚类以越来越细的粒度递归地划分数据。在实际应用中,多视图数据变得越来越重要。这引起了一个较少研究的问题,即,多视图层次聚类,更好地理解多视图数据的层次结构。为此,我们提出了一种新的神经网络为基础的模型,即对比多视图双曲层次聚类(CMHHC)。它由三个部分组成,即,多视图对齐学习、对齐特征相似性学习和连续双曲分层聚类。首先,我们在多个视图中以对比的方式对齐样本级表示,以捕获视图不变性信息。接下来,我们利用流形和欧氏相似性来改善度量性质。然后,我们将表示嵌入到双曲空间中,并通过连续松弛分层聚类损失来优化双曲嵌入。最后,一个二叉聚类树解码从优化的双曲嵌入。在五个真实数据集上的实验结果证明了该方法及其组成部分的有效性。
2022-05-05 cs.AI cs.LG
Convex Clustering through MM: An Efficient Algorithm to Perform Hierarchical Clustering
Econometric Institute(计量经济学研究所);Erasmus University Rotterdam(伊拉斯姆斯大学鹿特丹分校);Graduate School of Engineering Science(工学研究科);Osaka University(大阪大学)
本文提出CCMM算法,通过majorization-minimization和簇融合高效解决大规模凸聚类问题,并确保层次结构终止于单一簇,可处理百万级数据。
2023-12-21 cs.LG stat.ML
Connectivity-Driven Brain Parcellation via Consensus Clustering
The Institute for Information Transmission Problems(信息传输问题研究所);National Research University Higher School of Economics(国立研究型高等经济大学);University of Southern California(南加州大学);Illinois Institute of Technology(伊利诺伊理工学院)
我们提出了两个相关的方法,从个人的连接体推导出基于连接性的大脑图谱。所提出的方法利用了先前提出的密集连接表示,称为连续连接,首先执行基于图形的层次聚类的个人大脑,随后聚合到一个共识parcellation的个人包裹。对共识的搜索最小化了聚类成员距离的总和,有效地估计了单个包裹的伪Karcher平均值。我们使用(1)Kullback-Liebler和Jensen-Shannon分歧来评估我们的包裹质量,(2)半球间对称性,(3)简化连接体在生物性别分类任务中的表现。我们发现,在所有三个评估中,使用分层深度3的贪婪搜索计算的基于包裹的地图集优于所有其他基于包裹的地图集以及标准的Dessikan-Killiany解剖地图集。
2018-08-10 cs.LG q-bio.NC stat.ML
Dissimilarity Clustering by Hierarchical Multi-Level Refinement
Université Paul Verlaine-Metz(保罗·魏尔伦-梅斯大学);Université Paris 1 Panthéon-Sorbonne(巴黎第一大学 先贤祠-索邦)
本文介绍了一种新的方法,优化的自然扩展的量化误差用于k-均值聚类相异的数据。该方法是基于层次聚类分析结合多层次启发式求精。该方法计算效率高,并且比传统方法实现了更好的量化误差
2012-04-29 cs.LG stat.ML
Interactive Steering of Hierarchical Clustering
Tsinghua University(清华大学);Microsoft Research(微软研究院);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
层次聚类是组织大数据进行探索性数据分析的重要技术。然而,现有的一刀切的层次聚类方法往往无法满足不同用户的多样化需求。为了解决这一挑战,我们提出了一种交互式转向方法,通过利用公共知识(例如,维基百科)和用户的私人知识。我们的方法的新颖性包括:1)使用知识(知识驱动)和内在数据分布(数据驱动)自动构建层次聚类的约束,以及2)通过可视化界面(用户驱动)实现聚类的交互式转向。我们的方法首先将每个数据项映射到知识库中最相关的项。初始约束树,然后使用蚁群优化算法提取。该算法平衡了树的宽度和深度,并以高置信度覆盖数据项。在给定约束树的情况下,利用进化贝叶斯玫瑰树对数据项进行层次聚类。为了清楚地传达层次聚类的结果,一个不确定性感知的树可视化已经开发,使用户能够快速定位最不确定的子层次结构,并交互式地改善它们。定量评估和案例研究表明,所提出的方法有助于建立定制的聚类树,在一个高效和有效的方式。
2020-09-21 cs.LG stat.ML
Hierarchical Quasi-Clustering Methods for Asymmetric Networks
Stanford University(斯坦福大学);Ohio State University(俄亥俄州立大学);University of Pennsylvania(宾夕法尼亚大学)
本文介绍了层次准聚类方法,一个推广的层次聚类的非对称网络中的输出结构保留的输入数据的非对称性。我们证明了这种输出结构等价于一个有限的准超度量空间,并研究了关于两个理想性质的容许性。我们证明了一个修改后的版本的单链接是唯一允许的准聚类方法。此外,我们证明了所提出的方法的稳定性,我们建立的不变性履行it.Algorithms进一步发展和准聚类分析的价值与美国境内的移民研究。
2014-04-17 cs.LG stat.ML
Branching embedding: A heuristic dimensionality reduction algorithm based on hierarchical clustering
University of Toyama(富山大学);Institute of Natural Medicine, University of Toyama, Japan(富山大学自然医学研究所)
本文提出了一种新的降维算法-分支嵌入(BE)。它将树状图转换为二维散点图,并可视化原始高维数据的固有结构。由于转换部分在计算上要求不高,因此BE算法对于已经执行了分层聚类的情况将是有益的。数值实验表明,该算法的输出适度地保持了原有的层次结构。
2018-05-06 cs.LG stat.ML
Tree-SNE: Hierarchical Clustering and Visualization Using t-SNE
Yale University(耶鲁大学)
t-SNE和层次聚类是探索性数据分析的流行方法,特别是在生物学中。在加速t-SNE和获得更细粒度结构的最新进展的基础上,我们将两者结合起来创建tree-SNE,这是一种基于堆叠一维t-SNE嵌入的分层聚类和可视化算法。我们还介绍了阿尔法聚类,它建议最佳的集群分配,没有预知的集群数量,基于跨多个尺度的集群稳定性。我们证明了树SNE和阿尔法聚类对手写数字图像、血细胞质谱仪(CyTOF)数据和视网膜细胞单细胞RNA测序(scRNA-seq)数据的有效性。此外,为了证明可视化的有效性,我们使用阿尔法聚类获得无监督聚类结果的竞争力与几个图像数据集上的最新技术。软件可在https://github.com/isaacrob/treesne上获得。
2020-02-13 cs.LG stat.ML
Hierarchical Clustering with Structural Constraints
Stanford University(斯坦福大学)
层次聚类是一种流行的无监督数据分析方法。对于许多现实世界的应用程序,我们希望利用有关数据的先验信息,这些信息对聚类层次结构施加了约束,并且没有被算法可用的特征集捕获。这就产生了“具有结构约束的层次聚类”问题。结构性约束对平均/单一链接等自下而上的方法构成了重大挑战,尽管它们可以自然地纳入自上而下的分裂算法中,但其输出质量不存在正式保证。在本文中,我们为两个简单的自顶向下算法提供了可证明的近似保证,使用最近引入的具有成对相似性信息的层次聚类的优化观点[Dasgupta,2016]。我们展示了如何找到好的解决方案,即使在存在冲突的先验信息,通过制定一个基于约束的正则化的目标。我们进一步探索了该目标的变体,用于相异信息[Cohen-Addad等人,#20182;改进现有技术。最后,我们展示了我们的方法在一个真正的数据集的分类应用程序。
2018-07-14 cs.AI cs.DS cs.LG
An Objective for Hierarchical Clustering in Euclidean Space and its Connection to Bisecting K-means
Tepper School of Business, Carnegie Mellon University(卡内基梅隆大学泰珀商学院)
本文探讨了层次聚类的情况下,对点的相异分数(例如距离)作为输入的一部分。最近引入的目标点与相异分数的结果在每棵树是1/2近似,如果距离形成一个度量。这表明目标并没有在度量空间中的好的和差的层次聚类之间做出显着的区分。基于此,本文在欧氏空间中提出了一种新的全局层次聚类目标。目标捕获了促使使用分裂聚类算法的标准:当分裂发生时,同一聚类中的点应该比不同聚类中的点更相似。此外,这一目标给出了合理的结果,地面实况输入层次聚类。本文建立了这个目标和二分k-means算法之间的理论联系。本文证明了最优2-均值解的结果是目标的常数逼近。这是第一篇证明二分k-means算法在整个树上优化自然全局目标的论文。
2020-08-30 cs.LG stat.ML
Hierarchical clustering with maximum density paths and mixture models
Institute of Computer Science and Campus Institute Data Science, University of Göttingen(计算机科学研究所和校园数据科学研究所,哥廷根大学);Max Planck Institute for Dynamics and Self-Organization(动态与自组织Max Planck研究所)
针对现有层次聚类在高维、无清晰密度间隙数据上的不足,提出基于概率的t-NEB方法,通过过聚类密度估计、最大密度路径查找和自底向上合并三步实现最优性能与有意义层次,助力探索性数据分析。
2025-05-21 cs.LG stat.ML
Order preserving hierarchical agglomerative clustering
偏序和有向无环图通常是在许多领域和应用中自然出现的循环数据结构,并且用于表示领域中实体之间的有序关系。例如,项目计划中的任务依赖关系、分布式账本中的交易顺序以及计算机程序中的任务执行顺序,仅举几例。研究了这类有序数据的保序层次聚类问题。也就是说,如果我们在原始数据中有$a < b$,并用$[a]$和$[b]$表示它们各自的聚类,那么我们在生成的聚类中将有$[a] < [b]$。聚类是基于相似性的,并使用标准的链接功能,如单一和完整的链接,是经典的层次聚类的扩展。为了实现这一点,我们定义的输出运行经典的层次聚类严格有序的数据是部分树状图,子树的经典树状图与几个连接组件。然后,我们构建了一个嵌入的部分树状图在一个集合到家庭的超度量在同一个集合。一个最佳的层次聚类被定义为部分树状图对应的超度量最接近原来的相异度测量,测量的p-范数。因此,该方法是经典的层次聚类和超度量拟合的组合。一个参考实现的合成随机数据和现实世界的数据库中的机器零件的实验。实验结果表明,与现有的方法相比,该方法在聚类质量和顺序保持方面都有很大的优势。
2021-09-09 cs.LG stat.ML
Fair Hierarchical Clustering
Google(谷歌);University of Maryland(马里兰大学);Carnegie Mellon University(卡内基梅隆大学)
随着机器学习变得越来越普遍,研究人员开始认识到确保机器学习系统公平的必要性。最近,有兴趣定义一个公平的概念,减轻在传统的聚类过度表示。在本文中,我们将这一概念扩展到层次聚类,其目标是递归地划分数据以优化特定目标。对于各种自然的目标,我们得到简单,有效的算法,找到一个可证明良好的公平分层聚类。经验上,我们表明,我们的算法可以找到一个公平的层次聚类,只有一个可以忽略不计的损失的目标。
2020-06-19 cs.DS cs.LG stat.ML
Multiple-view clustering for identifying subject clusters and brain sub-networks using functional connectivity matrices without vectorization
Okinawa Institute of Science and Technology Graduate University(冲绳科学技术大学院大学);Advanced Telecommunications Research Institutes International(国际先进电信研究所);RIKEN(理化学研究所);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
在神经科学中,功能性磁共振成像(fMRI)是一种非侵入性获取大脑活动的重要工具。使用功能磁共振成像,可以推断大脑区域之间的功能连接(FC),这有助于发现大脑的基本特性。作为模糊聚类的一个重要临床应用,基于模糊聚类的受试者聚类近年来受到广泛关注,它可以揭示精神疾病亚型等受试者的重要异质性。特别是,多视图聚类方法是一个强大的分析工具,它确定了集群模式的主题取决于他们的FC在特定的大脑区域。然而,当将现有的多视图聚类方法应用于fMRI数据时,需要简化数据结构,独立地处理FC矩阵中的元素,即,向量化相关矩阵。这种简化可能会扭曲聚类结果。为了克服这个问题,我们提出了一种新的基于Wishart混合模型的多视图聚类方法,它保留了相关矩阵的结构,而无需矢量化。该方法的独特之处在于,主题的多视图聚类基于特定的节点网络(或感兴趣区域,ROIs),并以数据驱动的方式进行优化。因此,它可以识别主题集群解决方案和ROI子网络之间的多个潜在的关联对。该方法的关键假设是子网络之间的独立性,这是有效地解决白化相关矩阵。我们将所提出的方法应用于合成和fMRI数据,证明了所提出的方法的有用性和功率。
2021-02-11 cs.LG stat.ML
A Multiscale Graph Convolutional Network Using Hierarchical Clustering
University of Cambridge(剑桥大学)
包含在分层拓扑结构中的信息,是许多网络所固有的,目前未得到充分利用。一种新的架构,探索利用这些信息,通过多尺度分解。通过Girvan-Newman分层聚类算法产生树状图。它被分割并通过图卷积层馈送,允许架构学习网络的多尺度潜在空间表示,从细粒度到粗粒度。该架构在基准引文网络上进行了测试,证明了具有竞争力的性能。由于层次网络的丰富性,可能的应用包括量子分子性质预测,蛋白质界面预测和偏微分方程的多尺度计算衬底。
2020-06-22 cs.LG stat.ML
Supervised Hierarchical Clustering with Exponential Linkage
College of Information and Computer Sciences, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院)
在监督聚类中,用于学习成对相异性函数的标准技术通常会受到训练目标和聚类目标之间的差异的影响,从而导致聚类质量差。纠正这种差异需要将训练相异性函数的过程与聚类算法相匹配。在本文中,我们介绍了一种方法来训练的相异度函数的方式,是紧密耦合的层次聚类,特别是单链接。然而,对于给定的数据集,适当的聚类算法通常是未知的。因此,我们引入了一种监督层次聚类的方法,平滑插值之间的单一,平均和完整的链接,我们给出了一个训练过程,同时学习的链接函数和相异性函数。我们用一个新的指数链接函数来实现这一点,该函数具有一个可学习的参数来控制插值。在四个数据集上的实验中,我们的联合训练过程始终匹配或优于下一个最佳训练过程/连接函数对,并且在不一致对上的树状图纯度上提高了8个点。
2019-06-19 cs.LG stat.ML
On the properties of $α$-unchaining single linkage hierarchical clustering
在层次聚类方法的选择中,理论属性可以提供一些洞察力来确定哪种方法最适合处理聚类问题。在这里,我们研究了两个层次聚类方法的一些基本性质:$α$ -unchaining单链或$SL(α)$和修改后的版本,这一个,$SL^*(α)$。我们比较的结果与经典的基于链接的层次聚类方法所满足的属性。
2014-02-18 cs.LG
Hierarchical Clustering using Auto-encoded Compact Representation for Time-series Analysis
TCS Research, TATA Consultancy Services(塔塔咨询服务公司TCS研究院)
获得一个强大的时间序列聚类与最佳的距离测量和适当的表示选择总是一个挑战。我们提出了一种新的机制来识别集群,该机制结合了习得的时间序列紧凑表示、自动编码紧凑序列(AECS)和分层聚类方法。该算法利用递归神经网络(Recurrent Neural Network,RNN)在完全序列到序列(Sequence to Sequence,seq2seq)下进行分层聚类,以解决学习的潜在表示AECS的长度远小于原始时间序列长度的问题,同时提高其性能。自动编码器和凝聚层次聚类,选择最佳距离度量来推荐最佳聚类。我们的计划选择最好的距离测量和相应的聚类单变量和多变量的时间序列。我们已经实验了真实世界的时间序列从UCR和UCI存档采取不同的应用领域,如健康,智能城市,制造业等实验结果表明,该方法不仅产生接近基准的结果,但在某些情况下也优于基准。
2021-01-11 cs.AI cs.LG
Hierarchical clustering in particle physics through reinforcement learning
New York University(纽约大学);Bloomberg(彭博)
粒子物理实验通常需要通过对观测到的末态粒子进行分级聚类来重建衰变模式。我们表明,这个任务可以被描述为一个马尔可夫决策过程,并适应强化学习算法来解决它。特别是,我们表明,蒙特卡罗树搜索指导下的神经政策,可以构建高质量的层次聚类,并优于建立贪婪和束搜索基线。
2020-12-18 cs.AI cs.LG hep-ph
A neuro-inspired architecture for unsupervised continual learning based on online clustering and hierarchical predictive coding
Georgia Institute of Technology(佐治亚理工学院)
我们提出,持续学习desiderata可以通过神经启发的架构,蒙特卡斯尔的皮质柱假说的基础上实现。所提出的架构涉及一个单一的模块,称为自学联想记忆(STAM),它模拟了皮质柱的功能。STAM在涉及前馈、横向和反馈连接的多级层次结构中重复。STAM网络以无监督的方式学习,基于在线聚类和分层预测编码的组合。这篇简短的论文只介绍了架构及其与神经科学的联系。数学公式和实验结果将在本文的扩展版本。
2018-10-22 cs.AI cs.LG q-bio.NC
A cost function for similarity-based hierarchical clustering
由于缺乏精确的目标函数,层次聚类算法的发展一直受到阻碍。为了帮助解决这种情况,我们在一组点上的层次结构上引入一个简单的成本函数,给定这些点之间的成对相似性。我们表明,这一标准的行为在典型的情况下,它承认一个自上而下的建设过程,具有可证明的良好的近似比。
2015-10-16 cs.DS cs.LG stat.ML
Foundations of Comparison-Based Hierarchical Clustering
University of Tübingen(图宾根大学);Max-Planck-Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
我们解决了经典的问题,层次聚类,但在一个框架中,人们没有访问的对象或其成对的相似性的表示。相反,我们假设只有一组对象之间的比较是可用的,也就是说,形式为“对象$i$和$j$比对象$k$和$l$更相似”的语句。“这种情况在众包应用中很常见。这项工作的重点是开发基于比较的层次聚类算法,不依赖于顺序嵌入的原则。我们发现,单一和完整的连锁固有的比较为基础,我们开发的平均连锁的变体。我们提供了不同的方法下种植层次划分模型的统计保证。我们还实证证明了所提出的方法在几个数据集上的性能。
2019-06-12 cs.LG stat.ML
Hierarchical Qualitative Clustering: clustering mixed datasets with critical qualitative information
INESC TEC;Universidade do Porto(波尔图大学)
聚类可以用来从数据中提取洞察力,或者验证领域专家所持有的一些假设,即数据分割。在文献中,很少有方法可以应用于聚类定性值使用与数据中存在的其他变量相关联的上下文,而不会失去可解释性。此外,用于计算定性值之间的相异度的度量对于高维混合数据集通常缩放性较差。在这项研究中,我们提出了一种新的方法聚类定性值,层次聚类(HQC)的基础上,并使用最大均值离散。HQC保持数据集中定性信息的原始可解释性。我们将HQC应用于两个数据集。使用Spotify提供的混合数据集,我们展示了我们的方法如何用于基于数千首歌曲的定量特征对音乐艺术家进行聚类。此外,利用公司的财务特征,我们聚类公司行业,并讨论了投资组合多元化的含义。
2020-07-06 cs.LG stat.ML
Clustering Result Re-guided Incomplete Multi-view Spectral Clustering
College of Information Engineering, Shanghai Maritime University(上海 Maritime University 信息工程学院);Department of Automation, Shanghai Jiao Tong University(上海 Jiao Tong University 自动化系)
针对不完整多视图谱聚类中样本连通性未被有效利用的问题,提出CRG_IMSC方法,通过非负约束直接获取聚类结果并构建连通性矩阵最小化自表示残差,实验证明其优于现有方法且收敛。
2025-10-11 cs.LG stat.ML
Density-aware Hierarchical Clustering Based on Element-Categorized Connection Subgraphs
Tongji University(同济大学);RadioSky (Shanghai) Communication Technology Co., Ltd(天睿(上海)通信技术有限公司)
本文提出DHC-ECS方法,整合三类聚类技术,引入新型相似度度量,在异构基准数据集上较基线方法表现更优,可减少人工参数调整依赖。
2026-08-10 cs.AI cs.LG
Hierarchical Clustering with Prior Knowledge
Amazon.com Inc.(亚马逊公司)
层次聚类是一类试图建立聚类层次结构的算法。它一直是构建嵌入式分类方案的主要方法,因为它输出树状图,同时捕获各级粒度的成员之间的层次关系。在算法意义上是贪婪的,层次聚类在每一步都仅仅基于相似性/相异性度量来划分数据。聚类结果往往不仅取决于底层数据的分布,而且还取决于相异性度量的选择和聚类算法。本文提出了一种将实体关系的先验领域知识融入到层次聚类中的方法。具体来说,我们使用超度量空间中的距离函数来编码外部本体信息。我们表明,流行的基于链接的算法可以忠实地恢复编码的结构。类似于一些正则化的机器学习技术,我们将此距离作为惩罚项添加到原始的成对距离中,以调节树状图的最终结构。作为一个案例研究,我们应用这种方法对真实数据的客户行为为基础的产品分类亚马逊服务的建设,利用信息从一个更大的亚马逊范围内的浏览结构。当人们想要利用来自外部源的关系信息时,或者用于生成距离矩阵的数据是噪声和稀疏的时,该方法是有用的。我们的工作属于半监督或约束聚类的范畴。
2018-08-25 cs.LG stat.ML
Hierarchical Clustering of Asymmetric Networks
Stanford University(斯坦福大学);Ohio State University(俄亥俄州立大学);University of Pennsylvania(宾夕法尼亚大学)
本文考虑的网络中,节点之间的关系表示的有向相异性。目标是研究基于相异度结构输出层次聚类的方法,即,由连接参数索引的嵌套分区族。我们的分层聚类方法的构建是围绕容许方法的概念构建的,容许方法是那些遵守价值公理的方法-具有两个节点的网络中的节点在它们之间的两个相异点中的最大值处聚集在一起-和变换-当相异点减少时,网络可能变得更聚集,但不是更少。两种特定的方法,称为互反聚类和非互反聚类,所示,以提供上界和下界的空间中的容许方法。此外,替代聚类方法和公理被认为是。特别是,修改公理的价值,使集群在两个节点的网络发生在最小的两个相异需要存在一个独特的容许聚类方法。
2016-07-21 cs.LG stat.ML
Extraction of hierarchical functional connectivity components in human brain using resting-state fMRI
University of Pennsylvania(宾夕法尼亚大学)
人类大脑网络中的层次结构的研究已经引起了研究人员的极大兴趣,因为许多研究已经指出了人类大脑的功能层次组织。本文提出了一种利用静息态fMRI提取人脑层次连接成分的新方法。该方法建立在稀疏连接模式(SCP)之前的工作,通过引入稀疏重叠模式的层次结构。通过fMRI生成的相关矩阵的深度因式分解来估计分量。本文的目标是使用相关矩阵提取可解释的层次模式,其中低秩分解由高秩分解的线性组合形成。我们制定的分解作为一个非凸优化问题,并解决它使用梯度下降算法与自适应步长。我们还提供了一种方法,使用奇异值分解的梯度下降的热启动。我们证明了所开发的方法在两个不同的现实世界的数据集上的有效性,通过显示多尺度分层SCP子样本之间是可重复的,并且与单尺度模式相比更具可重复性。我们还比较了我们的方法与现有的分层社区检测方法。我们的方法还提供了新的洞察人类大脑的功能组织。
2020-12-07 cs.LG eess.IV q-bio.NC
Hierarchical Clustering using Randomly Selected Similarities
Technicolor Research(特艺集团研究院)
根据成对相似性对项目进行层次聚类的问题存在于从生物学到网络的各个科学学科中。通常,聚类技术的应用受到获得项目对之间的相似性的成本的限制。虽然先前的工作已经开发,通过自适应测量使用一组显着减少的成对相似性重建聚类,这些技术是只适用于当选择的相似性可供用户。在本文中,我们研究重建层次聚类相似性观察随机。我们推导出精确的界限,这表明,一个显着的分数的层次聚类可以恢复使用少于所有的成对相似性。我们发现,正确的层次聚类下降到项目总数的一个常数部分(即,簇大小为O(N))可以使用仅O(NlogN)随机选择的期望成对相似性来找到。
2012-07-19 cs.IT cs.LG math.IT
An Online Hierarchical Algorithm for Extreme Clustering
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
许多现代聚类方法可以很好地扩展到大量的数据项N,但不能扩展到大量的聚类K。本文介绍了PERCH,一个新的非贪心算法的在线层次聚类,规模庞大的N和K-一个问题的设置,我们长期极端聚类。我们的算法有效地路由新的数据点的叶子的增量构建的树。出于对准确性和速度的期望,我们的方法执行树旋转,以提高子树纯度和鼓励平衡。我们证明了,在自然可分性假设下,我们的非贪心算法将产生具有完美树状图纯度的树,而不管在线数据到达顺序。我们的实验表明,PERCH构建更准确的树比其他树建设聚类算法和规模以及与N和K,实现了更高的质量聚类比最强的平聚类竞争对手在近一半的时间。
2017-04-06 cs.LG stat.ML
Active Clustering: Robust and Efficient Hierarchical Clustering using Adaptively Selected Similarities
Boston University(波士顿大学);University of Wisconsin - Madison(威斯康星大学麦迪逊分校);Carnegie Mellon University(卡内基梅隆大学)
基于成对相似性的层次聚类是广泛应用于科学领域的常用工具。然而,在许多问题中,获得或计算待聚类的项目之间的相似性可能是昂贵的。本文研究了N个项目的层次聚类的基础上的一个小子集的成对相似性,显着小于完整的N(N-1)/2相似性。首先,我们表明,如果集群内的相似性超过集群间的相似性,那么它是可以正确地确定从少至3 N对数N相似性的层次聚类。我们证明了这种数量级的节省成对相似性的数量需要顺序选择的相似性,以获得自适应的方式,而不是随机挑选。然后,我们提出了一个积极的聚类方法,是强大的异常相似性的一个有限的部分,并显示如何即使在这些嘈杂的相似性值的存在下,我们可以解决层次聚类使用仅O(N log^2 N)成对的相似性。
2011-02-18 cs.IT cs.LG math.IT
Admissible Hierarchical Clustering Methods and Algorithms for Asymmetric Networks
Stanford University(斯坦福大学);Ohio State University(俄亥俄州立大学);University of Pennsylvania(宾夕法尼亚大学)
本文的特点是遵守两个先前介绍的公理-因此,命名为容许的方法-层次聚类方法,并提出了易于处理的算法,其实现。我们利用的事实是,对于非对称网络,每一个允许的方法必须包含在互惠和非互惠聚类之间,并描述了三个家庭的中间方法。嫁接方法在由不同的容许方法生成的树状图之间交换分支。凸组合族通过树状图空间中的凸运算将容许方法组合在一起;第三,半互反族将网络中由强循环影响相关的节点聚类。算法计算的层次集群所产生的互惠和非互惠聚类,以及嫁接,凸组合,半互惠家庭使用矩阵运算的dioid代数。最后,介绍了聚类方法和算法的例子,通过他们的应用程序,以描述美国(U.S.)部门之间的相互关系的网络。经济
2016-07-21 cs.LG stat.ML
Contrastive Hierarchical Clustering
Advanced Micro Devices, Inc.(超威半导体公司);Cracow University of Economics(克拉科夫经济大学);Jagiellonian University(雅盖隆大学);Adam Mickiewicz University(亚当·密茨凯维奇大学)
本文提出基于深度神经网络的对比层次聚类模型CoHiClust,通过自监督学习将基础网络蒸馏为二叉树,无需标签数据,生成合理聚类结构并提升图像聚类准确性。
2023-06-21 cs.AI cs.LG
Online Hierarchical Clustering Approximations
Google Research(谷歌研究院)
层次聚类是一种广泛使用的方法,用于在多个粒度级别上对数据集进行聚类。尽管它的流行,现有的算法,如层次凝聚聚类(HAC)是有限的离线设置,因此需要整个数据集是可用的。这就禁止了它们在现代学习应用程序中经常遇到的大型数据集上的使用。在本文中,我们考虑层次聚类的在线设置,点到达一个时间。我们提出了两种算法,寻求优化莫斯利和王(MW)的收入函数,一个变种的Dasgupta成本。这些算法在效率和MW收入性能之间提供了不同的权衡。第一个算法,OTD,是一个高效的在线自上而下的算法,可证明实现了1/3近似的MW收入下的数据分离的假设。第二个算法,OHAC,是一个在线对应离线HAC,这是已知的产生1/3近似MW收入,并在实践中产生良好的质量集群。我们表明,OHAC近似离线HAC利用一种新的分裂合并过程。我们的经验表明,OTD和OHAC提供显着的效率和集群质量增益分别超过基线。
2019-09-20 cs.LG stat.ML
Cluster Size Management in Multi-Stage Agglomerative Hierarchical Clustering of Acoustic Speech Segments
University of Stellenbosch(斯泰伦博斯大学)
凝聚层次聚类(AHC)只需要已知对象之间的相似性。这是有吸引力的,当聚类信号的长度变化,如语音,这是不容易表示在固定维向量空间。然而,AHC的特点是$O(N^2)$空间和时间复杂度,使其不可行的大型数据集的分区。这最近已经解决了一个方法的基础上迭代重新聚类的独立子集的较大的数据集。我们表明,由于其迭代性质,这个过程有时会导致个别子集的未经检查的增长,从而损害其有效性。我们提出了一个简单的空间管理策略的集成到迭代过程中,并通过实验表明,这导致没有损失的性能方面的F-措施,同时保证阈值空间复杂度不被突破。
2018-10-30 cs.LG stat.ML
Interactive Bayesian Hierarchical Clustering
UCSD(加州大学圣地亚哥分校)
聚类是数据分析中的一个强大工具,但通常很难找到符合用户需求的分组。为了解决这个问题,有几种方法将从用户获得的约束纳入聚类算法,但不幸的是,不适用于层次聚类。我们设计了一个交互式贝叶斯算法,将用户交互到层次聚类,同时仍然利用数据的几何结构,通过采样的约束后验分布层次。我们还提出了几种智能查询用户的方法。该算法,以及查询方案,显示出良好的效果,对真实数据。
2016-04-27 cs.LG
Bayesian Hierarchical Clustering with Exponential Family: Small-Variance Asymptotics and Reducibility
Pohang University of Science and Technology(浦项科技大学)
贝叶斯层次聚类(Bayesian hierarchical clustering,BHC)是一种凝聚聚类方法,它定义了一个概率模型,并评估其边缘似然来决定哪些聚类要合并。虽然BHC提供了一些优势,传统的基于距离的凝聚聚类算法,连续的边缘似然评估和仔细的超参数调整是繁琐的,限制了可扩展性。在本文中,我们放松BHC到一个非概率制定,探索共轭指数模型的小方差渐近。我们开发了一种新的聚类算法,被称为放松BHC(RBHC),从BHC模型的渐近极限,表现出基于距离的凝聚聚类算法的可扩展性,以及贝叶斯非参数模型的灵活性。我们还研究了从BHC模型的渐近极限中出现的相异性度量的减少,使我们能够使用可扩展的算法,如最近邻链算法。在人工数据集和真实数据集上的数值实验证明了该方法的有效性和高性能。
2015-06-03 cs.LG stat.ML
Fair Algorithms for Hierarchical Agglomerative Clustering
University of California, Davis(加州大学戴维斯分校)
本文提出适用于层次凝聚聚类(HAC)的公平算法,通过强制公平性约束,在不依赖距离链接准则、支持多种公平度量和多受保护群体的前提下保持竞争力,并在UCI数据集上验证其优于原始HAC及现有方法的公平性。
2023-07-31 cs.LG stat.ML
FISHDBC: Flexible, Incremental, Scalable, Hierarchical Density-Based Clustering for Arbitrary Data and Distance
Symantec Research Labs(赛门铁克研究实验室)
FISHDBC是一种灵活的、增量的、可扩展的、基于层次密度的聚类算法。它很灵活,因为它使用户能够处理任意数据,跳过通常将原始数据转换为数值数组的特征提取步骤,让用户定义任意距离函数。它是增量的和可扩展的:它避免了其他方法在非度量空间中的$\mathcal O(n^2)$性能,并且当添加很少的项时,只需要轻量级计算来更新聚类。它是分层的:它产生“扁平”聚类,该聚类可以扩展为树结构,从而当数据探索需要时,用户可以将聚类分组和/或划分为子聚类或超聚类。它是基于密度的,近似于HDBSCAN*,是DBSCAN的一种演变。
2019-10-16 cs.DS cs.LG stat.ML
Extraction of Hierarchical Functional Connectivity Components in human brain using Adversarial Learning
University of Pennsylvania(宾夕法尼亚大学)
从rsfMRI数据中估计反映大脑功能连接模式的稀疏层次成分可以有助于我们理解大脑的功能组织,并可以导致疾病的生物标志物。然而,扫描仪间的变化和其他混杂因素对功能可解释的脑网络的鲁棒和可再现的估计提出了挑战,特别是对可再现的生物标志物。此外,大脑被认为是分层组织的,因此单尺度分解错过了这个层次。该论文旨在利用对抗性学习的当前进展,使用rsfMRI数据来估计人类大脑中可解释的分层模式,这些数据对“对抗性效应”(如扫描仪间变化)具有鲁棒性。我们将估计问题写成最小化问题,并使用交替更新来解决它。模拟和真实世界的数据集上的广泛实验表明,与其他众所周知的方法相比,组件的可重复性很高。
2021-04-20 cs.LG q-bio.NC
From Logits to Hierarchies: Hierarchical Clustering made Simple
Department of Computer Science, ETH Zurich(苏黎世联邦理工学院计算机科学系);ETH AI Center, Zurich(苏黎世联邦理工学院人工智能中心)
本文提出了一种基于预训练非层次聚类模型的轻量级方法,能够有效进行层次聚类,且无需微调,适用于任何输出 logit 的预训练聚类模型。
2025-12-17 cs.AI cs.CV cs.LG
Scalable Hierarchical Clustering with Tree Grafting
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Microsoft Research(微软研究院);IBM(国际商业机器公司)
我们介绍Grinch,一个新的算法,大规模的,非贪婪的层次聚类与一般的连接功能,计算任意两个点集之间的相似性。Grinch的关键组件是它的旋转和移植子例程,这些子例程在新点到达时有效地重新配置层次结构,支持发现具有复杂结构的集群。Grinch的动机是一个新的概念的分离性与联动功能的聚类:我们证明,当模型是一致的地面真相聚类,Grinch保证产生一个集群树包含地面真相,独立的数据到达顺序。我们在基准和作者共指数据集(具有标准和学习的链接函数)上的实证结果表明,Grinch比其他可扩展方法更准确,并且比层次凝聚聚类快几个数量级。
2019-12-31 cs.DS cs.LG stat.ML
Convex Hierarchical Clustering for Graph-Structured Data
Stanford University(斯坦福大学)
凸聚类是一个最近稳定的替代层次聚类。它制定了逐步合并集群的恢复作为一个正规化的凸问题。虽然凸聚类最初是为了处理数据点之间的欧氏距离而设计的,但在越来越多的应用中,数据直接由相似性矩阵或加权图来表征。在本文中,我们扩展了强大的层次聚类方法,这些更广泛的类的相似性。在定义了一个适当的凸目标之后,这种适应的关键在于我们能够提供:(a)正则化路径的有效恢复和(b)使用我们方法的经验证明。我们通过一个近端对偶算法解决第一个挑战,为此我们描述了一组实验的理论效率和经验性能。最后,我们强调了我们的方法的潜力,通过展示其应用到几个现实生活中的数据集,从而提供了一个自然的扩展到当前的凸聚类的应用范围。
2019-12-11 cs.LG stat.AP stat.ML
Scalable Hierarchical Agglomerative Clustering
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Google LLC(谷歌有限责任公司);Facebook(脸书);University of Southern California(南加州大学)
凝聚聚类的适用性,推断层次和平面聚类,是有限的,其可扩展性。现有的可扩展的层次聚类方法牺牲质量的速度,往往导致过度合并的集群。在本文中,我们提出了一个可扩展的,凝聚的层次聚类方法,不牺牲质量和规模数十亿的数据点。我们进行了详细的理论分析,表明在温和的可分性条件下,我们的算法不仅可以恢复最佳的平面划分,而且还提供了一个两个近似的非参数DP均值目标。这介绍了一种新的应用程序的层次聚类作为一个近似算法的非参数聚类目标。我们还涉及到我们的算法的经典层次凝聚聚类方法。我们进行了广泛的实证实验,在分层和扁平的聚类设置,并表明我们提出的方法实现了国家的最先进的结果公开可用的聚类基准。最后,我们证明了我们的方法的可扩展性,将其应用到一个数据集的30亿次查询。人类对发现的聚类的评价表明,我们的方法发现的聚类质量比目前最先进的聚类质量更好。
2021-09-30 cs.LG
Hierarchical Multiple Kernel K-Means Algorithm Based on Sparse Connectivity
针对层次化多核聚类中层间信息交互不足及全连通降低一致性矩阵多样性的问题,提出SCHMKKM算法,通过稀疏率控制分配矩阵实现局部特征融合,并在多数据集上验证其优于FCHMKKM。
2024-10-27 cs.LG
Comparison three methods of clustering: k-means, spectral clustering and hierarchical clustering
对三种聚类方法进行了比较,并求出了代价函数和损失函数,并进行了计算。聚类方法的出错率以及如何计算出错率一直是评价聚类方法优劣的重要因素之一,因此本文介绍了一种计算聚类方法出错率的方法。聚类算法可以分为几类,包括分区聚类算法,分层算法和基于密度的算法。一般来说,我们应该比较聚类算法的可扩展性,工作能力与不同的属性,集群形成的常规,具有最小的知识的计算机识别的输入参数,类处理噪声和额外的沉积,同样的出错率聚类一个新的数据,从而,有没有影响的输入数据,不同的维度的高水平,K-means是一种最简单的聚类方法,聚类是一个无监督的问题。
2014-11-13 cs.LG
Gromov-Hausdorff stability of linkage-based hierarchical clustering methods
如果数据集上的小扰动在结果中产生小扰动,则层次聚类方法是稳定的。这些扰动是使用Gromov-Hausdorff度量测量的。研究了基于链接的层次聚类方法的稳定性问题。我们得到,在某些基本条件下,标准的基于链接的方法是半稳定的。这意味着,如果输入数据足够接近超度量空间,则它们是稳定的。我们证明,除了异国情调的例子,在算法中引入任何unchaining条件总是产生不稳定的方法。
2013-11-20 cs.LG
Natural Hierarchical Cluster Analysis by Nearest Neighbors with Near-Linear Time Complexity
我们提出了一个基于最近邻的聚类算法,结果在一个自然定义的层次结构的集群。相反,凝聚和分裂的层次聚类算法,我们的方法是不依赖于迭代工作的算法,在这个意义上说,分区的层次聚类纯粹是根据输入数据集定义。我们的方法是一个通用的层次聚类方法,因为它可以实现为自自底向上的或自上而下的版本,这两种结果在相同的聚类。我们表明,对于某些类型的数据集,我们的算法具有接近线性的时间和空间复杂度。
2022-03-15 cs.DS cs.LG stat.ML
A Hierarchical Dirichlet Process Model with Multiple Levels of Clustering for Human EEG Seizure Modeling
University of Pennsylvania(宾夕法尼亚大学)
根据人类颅内脑电图(iEEG)记录癫痫发作的多层次结构,我们引入了一种新的层次Dirichlet过程--多层聚类层次Dirichlet过程(MLC-HDP),它同时对多个层次上的数据集进行聚类。我们的癫痫发作数据集包含每个患者每次癫痫发作的大脑活动记录,通常超过100个单独的通道。MLC-HDP模型同时对通道类型、患者类型和患者类型进行聚类。我们详细描述了这个模型及其实现。我们还提出了一个模拟研究的结果比较MLC-HDP一个类似的模型,嵌套狄利克雷过程,并最终证明了MLC-HDP的使用在多个患者的癫痫发作建模。我们发现MLC-HDP的聚类与独立的人类医生聚类相当。据我们所知,MLC-HDP模型是癫痫文献中第一个能够在患者内和患者之间聚集癫痫发作的模型。
2012-06-18 cs.LG stat.AP stat.ML