GPT-HTree: A Decision Tree Framework Integrating Hierarchical Clustering and Large Language Models for Explainable Classification
University of Oxford(牛津大学);Vela Research(维拉研究所)
GPT-HTree结合层次聚类、决策树和大语言模型,通过分段、重采样和定制路径实现可解释分类,兼顾准确性与可读性。
2025-01-23 cs.LG
Agglomerative Hierarchical Clustering with Dynamic Time Warping for Household Load Curve Clustering
Western University(西安大略大学)
能源公司经常实施各种需求响应(DR)计划,通过在关键时期为消费者提供减少需求的激励措施来更好地匹配电力需求和供应。根据客户的消费模式对客户进行分类,可以针对特定的消费者群体进行DR。传统的聚类算法使用标准的距离测量来找到两点之间的距离。聚类算法(如K-means、K-medoids和高斯混合模型)产生的结果取决于聚类参数或初始聚类。相比之下,我们的方法使用基于形状的方法,结合凝聚层次聚类(AHC)与动态时间弯曲(DTW)的住宅家庭的日常负荷曲线分类的基础上,他们的消费模式。虽然DTW寻求两个负载曲线之间的最佳对齐,但AHC提供了一个现实的初始聚类中心。在本文中,我们与其他聚类算法,如K-means,K-medoids,和GMM使用不同的距离措施的结果进行比较,我们表明,AHC使用DTW优于其他聚类算法,需要更少的集群。
2022-10-18 cs.LG
Individual Fairness in Hierarchical Clustering
Indian Institute of Technology, Gandhinagar(印度理工学院甘地纳格尔分校)
针对层次聚类扭曲局部相似性影响单个数据点的问题,将个体公平性要求限制在k近邻范围,刻画可行性所需松弛量并通过实验验证相关理论结果。
2026-08-27 cs.LG
A density-sensitive hierarchical clustering method
Universidad de Castilla-La Mancha(卡斯蒂利亚-拉曼恰大学)
我们定义了一个层次聚类方法:$α$ -解链单链或$SL(α)$。该算法的输入是一个有限的度量空间和一个确定的参数$α$。该方法对分布的密度敏感,并提供了一些解决所谓的连锁效应的方法。我们还定义了一个修改版本$SL^*(α)$,以处理通过点或小块的链接。我们研究了这些方法的理论性质,并为连锁效应的处理提供了一些理论背景。
2014-02-06 cs.LG
Multi-view Hierarchical Clustering
Xi’an Jiaotong University(西安交通大学)
本文主要研究多视图聚类,旨在提高多视图数据的聚类效果。通常,大多数现有的工作遭受的问题,参数选择和高计算复杂性。为了克服这些限制,我们提出了多视图层次聚类(MHC),它以多个粒度级别递归地划分多视图数据。具体来说,MHC由两个重要组成部分:余弦距离积分(CDI)和最近邻聚集(NNA)。CDI可以探索多视图数据的潜在互补信息,从而学习一个必要的距离矩阵,NNA利用该距离矩阵获得聚类结果。值得注意的是,建议的MHC可以很容易地和有效地在现实世界中的应用,而无需参数选择。在9个基准数据集上的实验表明,与现有的多视图聚类方法相比,该方法具有很大的优越性。
2020-10-15 cs.LG
Excisive Hierarchical Clustering Methods for Network Data
我们介绍了两个实用的属性(可能是不对称的)网络数据的层次聚类方法:Excisiveness和线性尺度保存。后者强制执行不渗透性的变化的措施,而前者确保本地的聚类结果的一致性。从理论上讲,兴奋性意味着我们可以通过仅对感兴趣的数据子集进行聚类来降低计算复杂性,同时在理论上保证在对整个数据集进行聚类时将观察到相同的分层结果。此外,我们引入了可表示性的概念,即一个生成模型,用于描述聚类方法,通过规范他们的行动收集的网络。我们进一步表明,在一组丰富的可接受的方法,要求代表性是等同于要求切除和线性尺度保存。利用这种等价性,我们证明了所有的切除和线性尺度保持方法都可以分为两个步骤:输入网络中的权重变换,然后应用规范聚类方法。此外,它们的因式分解可用于显示在输入网络中的有界扰动在聚类输出中引起有界扰动的意义上的切除和线性尺度保持方法的稳定性。
2016-07-21 cs.LG
A Generic Framework for Fair Consensus Clustering in Streams
National University of Singapore(新加坡国立大学);Pennsylvania State University(宾夕法尼亚州立大学)
本文提出了一种面向流的公平共识聚类通用框架,通过整合最近公平聚类与聚类拟合,实现了在流模型和离线重新查看时的改进近似保证。
2026-02-12 cs.LG
Incremental hierarchical text clustering methods: a review
Federal University of Lavras (UFLA)(拉夫拉斯联邦大学(UFLA))
本文针对动态文本数据的组织需求,综述了2010-2018年间的层次增量文本聚类技术,梳理相关核心概念并对比不同方法的特征,为该领域研究提供参考。
2023-12-12 cs.LG
Anomaly Detection in Hierarchical Data Streams under Unknown Models
Cornell University(康奈尔大学);University of California, Davis(加利福尼亚大学戴维斯分校)
我们考虑的问题中检测大量的分层数据流中的几个目标。数据流被建模为具有未知和潜在重尾分布的随机过程。我们的目标是一个积极的推理策略,确定,顺序,收集样本的数据流,以尽量减少样本的复杂性下的可靠性约束。我们提出了一种主动推理策略,诱导有偏随机游走的树结构的层次结构的基础上的样本统计量的置信界。然后,我们根据搜索空间的大小(即,数据流的数量)和可靠性要求。结果发现应用在分层重击检测,嘈杂的群体测试,自适应采样的主动学习,分类和随机根查找。
2017-09-11 cs.LG
Hierarchical Clustering via Spreading Metrics
Georgia Institute of Technology(佐治亚理工学院)
我们研究了由[arXiv:1510.05043]引入的层次聚类的成本函数,其中层次被视为第一类对象,而不是从平面聚类的投影中获得其成本。在[arXiv:1510.05043]中还表明,自顶向下算法返回的分层聚类的成本至多是最佳分层聚类成本的$O\left(α_n \log n\right)$倍,其中$α_n$是所使用的稀疏切割子例程的近似比率。因此,使用由于Arora-Rao-Vazirani的用于稀疏切割的最佳已知近似算法,自顶向下算法返回至多为最优解的成本的$O\left(\log^{3/2} n\right)$倍的成本的分层聚类。我们改进了这一点,给出了一个$O(\log{n})$ -近似算法。我们的主要技术成分是由这个成本函数引起的ultrametrics的组合表征,推导出一个线性规划(ILP)制定这个家庭的ultrametrics,并展示了如何迭代轮LP松弛这个配方使用的思想\emph{sphere growing}已被广泛使用的背景下,图分区。我们还证明了我们的算法返回一个$O(\log{n})$近似的层次聚类,这个成本函数的推广也在[arXiv:1510.05043]中研究。实验表明,层次结构发现使用ILP制定以及我们的舍入算法往往有更好的预测到平坦的集群比标准的链接为基础的算法。我们也给这个问题的常数因子不可逼近的结果。
2016-10-28 cs.LG
Multi-rank Sparse Hierarchical Clustering
University of British Columbia(不列颠哥伦比亚大学)
由于医学研究和其他领域收集和存储信息的能力不断增强,大型和平面数据集的数量激增,这些数据集包含大量特征和相对少量的观察结果。层次聚类是一种广泛使用的聚类工具。在分层聚类中,大而平的数据集可以更好地覆盖聚类特征(有助于解释真实的底层聚类的特征),但是,这样的数据集通常包括大部分可能隐藏底层聚类的噪声特征(非聚类特征)。Witten和Tibshirani(2010)提出了一种稀疏层次聚类框架,使用自适应选择的特征子集对观测进行聚类,然而,我们证明了当数据集包含具有复杂结构的聚类特征时,该框架具有一定的局限性。在本文中,我们提出了多秩稀疏层次聚类(MrSHC)。我们表明,使用模拟研究和真实数据的例子,MrSHC产生优越的特征选择和聚类性能相比,经典的(现成的)层次聚类和现有的稀疏层次聚类框架。
2017-07-03 cs.LG stat.ML
Flattening Multiparameter Hierarchical Clustering Functors
University of Oxford(牛津大学)
我们把拓扑数据分析,应用范畴理论,和机器学习研究多参数层次聚类。首先,我们介绍了一个过程,平整多参数层次聚类。我们证明了这个过程是一个函子从一类多参数层次分区一类二进制整数规划。我们还包括实证结果证明其有效性。接下来,我们将介绍一个贝叶斯更新算法,用于从数据中学习聚类参数。我们证明,该算法的组成与我们的扁平化过程满足一致性。
2021-04-30 cs.AI cs.LG
Guarantees for Hierarchical Clustering by the Sublevel Set method
Meila(2018)引入了一种基于优化的方法,称为子水平集方法,以保证聚类接近最佳和“近似正确”,而不依赖于任何关于生成数据的分布的假设。本文将Sublevel Set方法扩展到Dasgupta(2016)提出的基于成本的层次聚类范式。
2020-07-06 cs.LG stat.ML
Hierarchical Maximum-Margin Clustering
Simon Fraser University(西蒙弗雷泽大学);Ulsan National Institute of Science and Technology(蔚山科学技术院);University of British Columbia(不列颠哥伦比亚大学);Disney Research(迪士尼研究院)
提出了一种用于无监督数据分析的层次最大间隔聚类方法。我们的方法扩展了平面最大利润聚类,并进行聚类递归自上而下的方式。我们提出了一个有效的贪婪分裂标准,选择哪个集群分裂下一个,并采用正则化器,执行功能共享/竞争捕获数据语义。在四个标准数据集上的实验结果表明,我们的方法优于平面和层次聚类基线,同时形成干净和语义有意义的聚类层次结构。
2015-02-06 cs.CV cs.LG
A Novel Multi-clustering Method for Hierarchical Clusterings, Based on Boosting
Isfahan University of Technology(伊斯法罕理工大学)
Bagging和Boosting被证明是分类组合问题中构造多分类器的最佳方法。在“平坦聚类”问题的领域中,还认识到基于提升的多聚类方法提供改进质量的聚类。在本文中,我们介绍了一种新的多聚类方法的“层次聚类”的基础上提升理论,它创建一个更稳定的数据集的层次聚类。所提出的算法包括一个提升迭代,其中通过对原始数据集的元素进行加权随机采样来创建样本的自举。然后应用层次聚类算法对选定的子样本建立描述层次结构的树状图。最后,采用分层聚类组合方法将多个树图结果的相异性描述矩阵组合为一致性描述矩阵。在真实流行数据集上的实验表明,与标准的层次聚类方法相比,Boosted方法提供了更高质量的解决方案。
2018-05-29 cs.CV cs.LG stat.ML
Hierarchical Correlation Clustering and Tree Preserving Embedding
Chalmers University of Technology(查尔姆斯理工大学);Amirkabir University of Technology (Tehran Polytechnic)(阿米尔卡比尔理工大学(德黑兰理工大学))
提出层次相关聚类方法以处理正负成对不相似性,并结合树保留嵌入与极小极大距离扩展进行无监督表示学习,在多个数据集上验证了方法性能。
2025-02-03 cs.LG stat.ML
Contrastive Multi-view Hyperbolic Hierarchical Clustering
University of Electronic Science and Technology of China(电子科技大学);Tencent Inc.(腾讯公司);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng National Lab(鹏城国家实验室)
层次聚类以越来越细的粒度递归地划分数据。在实际应用中,多视图数据变得越来越重要。这引起了一个较少研究的问题,即,多视图层次聚类,更好地理解多视图数据的层次结构。为此,我们提出了一种新的神经网络为基础的模型,即对比多视图双曲层次聚类(CMHHC)。它由三个部分组成,即,多视图对齐学习、对齐特征相似性学习和连续双曲分层聚类。首先,我们在多个视图中以对比的方式对齐样本级表示,以捕获视图不变性信息。接下来,我们利用流形和欧氏相似性来改善度量性质。然后,我们将表示嵌入到双曲空间中,并通过连续松弛分层聚类损失来优化双曲嵌入。最后,一个二叉聚类树解码从优化的双曲嵌入。在五个真实数据集上的实验结果证明了该方法及其组成部分的有效性。
2022-05-05 cs.AI cs.LG
Convex Clustering through MM: An Efficient Algorithm to Perform Hierarchical Clustering
Econometric Institute(计量经济学研究所);Erasmus University Rotterdam(伊拉斯姆斯大学鹿特丹分校);Graduate School of Engineering Science(工学研究科);Osaka University(大阪大学)
本文提出CCMM算法,通过majorization-minimization和簇融合高效解决大规模凸聚类问题,并确保层次结构终止于单一簇,可处理百万级数据。
2023-12-21 cs.LG stat.ML
Average Sensitivity of Hierarchical $k$-Median Clustering
University of Science and Technology of China(中国科学技术大学)
本文研究了层次$k$-median聚类问题的平均敏感度,提出了一种高效且低敏感度、高质量的聚类算法,并从理论和实验上证明了其相比单链接和CLNSS算法的优越鲁棒性。
2025-07-14 cs.DS cs.LG
CluStRE: Streaming Graph Clustering with Multi-Stage Refinement
Heidelberg University(海德堡大学)
该研究提出流图聚类算法CluStRE,通过多阶段优化在流设置中处理图,动态构建商图实现模块度优化,实验显示其解质量提升89.8%、速度快2.6倍,有效弥合流与传统聚类方法的差距。
2025-02-08 cs.DB cs.LG
Improved Multi-objective Data Stream Clustering with Time and Memory Optimization
University Sorbonne Paris Nord(索邦巴黎北大学);Higher School of Computer Science (ESI-SBA)(高等计算机科学学院(ESI-SBA))
在过去的几十年里,由于传感器、社交媒体等的发展,数据流的分析受到了相当大的关注,它旨在识别无序、无限和不断发展的观测流中的模式。对这种类型的数据进行聚类需要在时间和内存方面有一些限制。提出了一种新的数据流聚类方法IMOC Stream。与其他聚类算法不同,该方法使用两个不同的目标函数来捕获数据的不同方面。IMOC流的目标是:1)通过使用空闲时间来应用遗传操作并增强解决方案来减少计算时间。2)通过引入新的树概要来减少内存分配。3)通过使用多目标框架找到任意形状的集群。我们进行了一项实验研究,高维流数据集,并将其与著名的流聚类技术。实验结果表明,我们的方法分区的数据流在任意形状,紧凑,以及分离的集群,同时优化的时间和内存的能力。我们的方法也优于大多数的流算法在NMI和ARAND措施。
2022-01-13 cs.DB cs.LG
Data Stream Clustering: A Review
Middle East Technical University(中东技术大学)
连接设备的数量正在稳步增加,这些设备不断生成数据流。尽管面临许多挑战,但数据流的实时处理引起了人们的兴趣。聚类是最适合实时数据流处理的方法之一,因为它可以应用于较少的先验信息的数据,它不需要标记的实例。然而,数据流聚类在许多方面不同于传统的聚类,它有几个具有挑战性的问题。在这里,我们提供有关数据流的概念和共同特征的信息,如概念漂移,数据流的数据结构,时间窗口模型和离群值检测。本文对近年来的数据流聚类算法进行了综述,并从基本聚类技术、计算复杂性和聚类精度三个方面对它们进行了分析。这些算法的比较,以及仍然开放的问题。我们指出流行的数据流存储库和数据集,流处理工具和平台。最后讨论了数据流聚类中存在的问题。
2020-07-16 cs.AI cs.DB cs.LG
Dissimilarity Clustering by Hierarchical Multi-Level Refinement
Université Paul Verlaine-Metz(保罗·魏尔伦-梅斯大学);Université Paris 1 Panthéon-Sorbonne(巴黎第一大学 先贤祠-索邦)
本文介绍了一种新的方法,优化的自然扩展的量化误差用于k-均值聚类相异的数据。该方法是基于层次聚类分析结合多层次启发式求精。该方法计算效率高,并且比传统方法实现了更好的量化误差
2012-04-29 cs.LG stat.ML
Hierarchical Clustering: Objective Functions and Algorithms
University of Copenhagen(哥本哈根大学);University of Oxford(牛津大学);The Alan Turing Institute(阿兰·图灵研究所);École normale supérieure, CNRS, PSL Research University(巴黎高等师范学院,法国国家科学研究中心,巴黎文理研究大学);Simon Fraser University(西蒙菲莎大学)
层次聚类是以越来越细的粒度将数据集递归划分为聚类。由于大多数关于层次聚类的工作都是基于提供算法,而不是优化特定目标,Dasgupta将基于相似性的层次聚类框定为组合优化问题,其中“好”的层次聚类是最小化某些成本函数的聚类。他表明,这个成本函数具有某些理想的性质。我们采取一个公理化的方法来定义“好”的目标函数的相似性和差异为基础的层次聚类。我们描述了一组“可接受”的目标函数(包括Dasgupta的一个),具有的属性,当输入承认一个“自然”的层次聚类,它有一个最佳值。通过构造合适的目标函数,分析了实际算法的性能,并提出了改进的算法。对于基于相似性的层次聚类,Dasgupta表明分裂稀疏切割方法实现了$O(\log^{3/2} n)$近似。我们给出了一个精细的分析算法,并表明它实际上实现了一个$O(\sqrt{\log n})$ -近似。(Charikar和Chatziafratis独立证明,这是一个$O(\sqrt{\log n})$ -近似)。这改进了基于LP的$O(\log n)$ -约。罗伊和波库塔对于基于差异的层次聚类,我们表明,经典的平均连锁算法给出了一个因子2近似,并提供一种简单且更好的算法,其给出因子3/2近似。最后,我们考虑“超越最坏情况”的情况下,通过概括的随机块模型的层次聚类。我们表明,Dasgupta的成本函数具有理想的属性,这些输入,我们提供了一个简单的1 + …
2017-04-07 cs.DS cs.LG
Interactive Steering of Hierarchical Clustering
Tsinghua University(清华大学);Microsoft Research(微软研究院);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
层次聚类是组织大数据进行探索性数据分析的重要技术。然而,现有的一刀切的层次聚类方法往往无法满足不同用户的多样化需求。为了解决这一挑战,我们提出了一种交互式转向方法,通过利用公共知识(例如,维基百科)和用户的私人知识。我们的方法的新颖性包括:1)使用知识(知识驱动)和内在数据分布(数据驱动)自动构建层次聚类的约束,以及2)通过可视化界面(用户驱动)实现聚类的交互式转向。我们的方法首先将每个数据项映射到知识库中最相关的项。初始约束树,然后使用蚁群优化算法提取。该算法平衡了树的宽度和深度,并以高置信度覆盖数据项。在给定约束树的情况下,利用进化贝叶斯玫瑰树对数据项进行层次聚类。为了清楚地传达层次聚类的结果,一个不确定性感知的树可视化已经开发,使用户能够快速定位最不确定的子层次结构,并交互式地改善它们。定量评估和案例研究表明,所提出的方法有助于建立定制的聚类树,在一个高效和有效的方式。
2020-09-21 cs.LG stat.ML
Hierarchical Quasi-Clustering Methods for Asymmetric Networks
Stanford University(斯坦福大学);Ohio State University(俄亥俄州立大学);University of Pennsylvania(宾夕法尼亚大学)
本文介绍了层次准聚类方法,一个推广的层次聚类的非对称网络中的输出结构保留的输入数据的非对称性。我们证明了这种输出结构等价于一个有限的准超度量空间,并研究了关于两个理想性质的容许性。我们证明了一个修改后的版本的单链接是唯一允许的准聚类方法。此外,我们证明了所提出的方法的稳定性,我们建立的不变性履行it.Algorithms进一步发展和准聚类分析的价值与美国境内的移民研究。
2014-04-17 cs.LG stat.ML
Branching embedding: A heuristic dimensionality reduction algorithm based on hierarchical clustering
University of Toyama(富山大学);Institute of Natural Medicine, University of Toyama, Japan(富山大学自然医学研究所)
本文提出了一种新的降维算法-分支嵌入(BE)。它将树状图转换为二维散点图,并可视化原始高维数据的固有结构。由于转换部分在计算上要求不高,因此BE算法对于已经执行了分层聚类的情况将是有益的。数值实验表明,该算法的输出适度地保持了原有的层次结构。
2018-05-06 cs.LG stat.ML
Adaptive Resonance Theory-based Topological Clustering with a Divisive Hierarchical Structure Capable of Continual Learning
Osaka Prefecture University(大阪府立大学);Southern University of Science and Technology(南方科技大学)
自适应共振理论(ART)因其能够处理可塑性-稳定性矛盾而被认为是实现持续学习的有效途径。然而,一般来说,基于ART的算法的聚类性能强烈依赖于相似性阈值的指定,即,警惕参数,取决于数据并手动指定。本文提出了一种基于ART的拓扑聚类算法,该算法具有根据数据点的分布自动估计相似性阈值的机制。此外,为了提高信息抽取的性能,通过引入层次结构,提出了一种具有持续学习能力的分层层次聚类算法.实验结果表明,该算法具有较高的聚类性能与最近提出的最先进的层次聚类算法。
2022-07-07 cs.LG cs.NE
Tree-SNE: Hierarchical Clustering and Visualization Using t-SNE
Yale University(耶鲁大学)
t-SNE和层次聚类是探索性数据分析的流行方法,特别是在生物学中。在加速t-SNE和获得更细粒度结构的最新进展的基础上,我们将两者结合起来创建tree-SNE,这是一种基于堆叠一维t-SNE嵌入的分层聚类和可视化算法。我们还介绍了阿尔法聚类,它建议最佳的集群分配,没有预知的集群数量,基于跨多个尺度的集群稳定性。我们证明了树SNE和阿尔法聚类对手写数字图像、血细胞质谱仪(CyTOF)数据和视网膜细胞单细胞RNA测序(scRNA-seq)数据的有效性。此外,为了证明可视化的有效性,我们使用阿尔法聚类获得无监督聚类结果的竞争力与几个图像数据集上的最新技术。软件可在https://github.com/isaacrob/treesne上获得。
2020-02-13 cs.LG stat.ML
Fair Polylog-Approximate Low-Cost Hierarchical Clustering
University of Maryland, College Park(马里兰大学帕克分校)
针对公平层次聚类中存在的多项式近似壁垒,本文提出了首个真正的多对数近似低成本公平层次聚类方法,大幅缩小了公平与普通层次聚类近似之间的差距。
2023-11-21 cs.DS cs.LG
A Clustering-based Framework for Classifying Data Streams
North Carolina A&T State University(北卡罗来纳农业技术州立大学);Raytheon Technologies Research Center(雷神技术研究中心)
数据流的非平稳特性对传统的机器学习技术提出了强烈的挑战。尽管已经提出了一些解决方案来扩展用于处理数据流的传统机器学习技术,但是这些方法需要初始标签集或者依赖于专门的设计参数。类别之间的重叠和数据流的标记构成了数据流分类的其他主要挑战。在本文中,我们提出了一个基于聚类的数据流分类框架来处理非平稳数据流,而无需使用初始标签集。该算法采用基于密度的流聚类方法,通过动态阈值捕获新概念,并引入有效的主动标签查询策略,从数据流中不断学习新概念.每个聚类的子聚类结构被探索以处理类之间的重叠。实验结果和定量比较研究表明,该方法提供了统计上更好的或可比的性能比现有的方法。
2021-06-22 cs.AI cs.LG
An Objective for Hierarchical Clustering in Euclidean Space and its Connection to Bisecting K-means
Tepper School of Business, Carnegie Mellon University(卡内基梅隆大学泰珀商学院)
本文探讨了层次聚类的情况下,对点的相异分数(例如距离)作为输入的一部分。最近引入的目标点与相异分数的结果在每棵树是1/2近似,如果距离形成一个度量。这表明目标并没有在度量空间中的好的和差的层次聚类之间做出显着的区分。基于此,本文在欧氏空间中提出了一种新的全局层次聚类目标。目标捕获了促使使用分裂聚类算法的标准:当分裂发生时,同一聚类中的点应该比不同聚类中的点更相似。此外,这一目标给出了合理的结果,地面实况输入层次聚类。本文建立了这个目标和二分k-means算法之间的理论联系。本文证明了最优2-均值解的结果是目标的常数逼近。这是第一篇证明二分k-means算法在整个树上优化自然全局目标的论文。
2020-08-30 cs.LG stat.ML
Fair Hierarchical Clustering
Google(谷歌);University of Maryland(马里兰大学);Carnegie Mellon University(卡内基梅隆大学)
随着机器学习变得越来越普遍,研究人员开始认识到确保机器学习系统公平的必要性。最近,有兴趣定义一个公平的概念,减轻在传统的聚类过度表示。在本文中,我们将这一概念扩展到层次聚类,其目标是递归地划分数据以优化特定目标。对于各种自然的目标,我们得到简单,有效的算法,找到一个可证明良好的公平分层聚类。经验上,我们表明,我们的算法可以找到一个公平的层次聚类,只有一个可以忽略不计的损失的目标。
2020-06-19 cs.DS cs.LG stat.ML
Hierarchical clustering with maximum density paths and mixture models
Institute of Computer Science and Campus Institute Data Science, University of Göttingen(计算机科学研究所和校园数据科学研究所,哥廷根大学);Max Planck Institute for Dynamics and Self-Organization(动态与自组织Max Planck研究所)
针对现有层次聚类在高维、无清晰密度间隙数据上的不足,提出基于概率的t-NEB方法,通过过聚类密度估计、最大密度路径查找和自底向上合并三步实现最优性能与有意义层次,助力探索性数据分析。
2025-05-21 cs.LG stat.ML
Order preserving hierarchical agglomerative clustering
偏序和有向无环图通常是在许多领域和应用中自然出现的循环数据结构,并且用于表示领域中实体之间的有序关系。例如,项目计划中的任务依赖关系、分布式账本中的交易顺序以及计算机程序中的任务执行顺序,仅举几例。研究了这类有序数据的保序层次聚类问题。也就是说,如果我们在原始数据中有$a < b$,并用$[a]$和$[b]$表示它们各自的聚类,那么我们在生成的聚类中将有$[a] < [b]$。聚类是基于相似性的,并使用标准的链接功能,如单一和完整的链接,是经典的层次聚类的扩展。为了实现这一点,我们定义的输出运行经典的层次聚类严格有序的数据是部分树状图,子树的经典树状图与几个连接组件。然后,我们构建了一个嵌入的部分树状图在一个集合到家庭的超度量在同一个集合。一个最佳的层次聚类被定义为部分树状图对应的超度量最接近原来的相异度测量,测量的p-范数。因此,该方法是经典的层次聚类和超度量拟合的组合。一个参考实现的合成随机数据和现实世界的数据库中的机器零件的实验。实验结果表明,与现有的方法相比,该方法在聚类质量和顺序保持方面都有很大的优势。
2021-09-09 cs.LG stat.ML
A Multiscale Graph Convolutional Network Using Hierarchical Clustering
University of Cambridge(剑桥大学)
包含在分层拓扑结构中的信息,是许多网络所固有的,目前未得到充分利用。一种新的架构,探索利用这些信息,通过多尺度分解。通过Girvan-Newman分层聚类算法产生树状图。它被分割并通过图卷积层馈送,允许架构学习网络的多尺度潜在空间表示,从细粒度到粗粒度。该架构在基准引文网络上进行了测试,证明了具有竞争力的性能。由于层次网络的丰富性,可能的应用包括量子分子性质预测,蛋白质界面预测和偏微分方程的多尺度计算衬底。
2020-06-22 cs.LG stat.ML
An objective function for order preserving hierarchical clustering
针对概率偏序与有向无环图的保序层次聚类问题,提出相关理论与双目标优化目标函数,证明其最优解的优良性质,并设计多项式时间近似算法,性能显著优于现有方法。
2024-12-10 cs.LG math.CO
SMOClust: Synthetic Minority Oversampling based on Stream Clustering for Evolving Data Streams
Keele University(基尔大学);University of Birmingham(伯明翰大学)
针对数据流中概念漂移与类不平衡的联合挑战,提出基于流聚类的过采样策略SMOClust,利用流聚类压缩信息生成合成少数类样本,实验证明其优于现有方法,尤其在严重不平衡场景下。
2023-08-28 cs.DB cs.LG
Hierarchical Clustering using Randomly Selected Similarities
Technicolor Research(特艺集团研究院)
根据成对相似性对项目进行层次聚类的问题存在于从生物学到网络的各个科学学科中。通常,聚类技术的应用受到获得项目对之间的相似性的成本的限制。虽然先前的工作已经开发,通过自适应测量使用一组显着减少的成对相似性重建聚类,这些技术是只适用于当选择的相似性可供用户。在本文中,我们研究重建层次聚类相似性观察随机。我们推导出精确的界限,这表明,一个显着的分数的层次聚类可以恢复使用少于所有的成对相似性。我们发现,正确的层次聚类下降到项目总数的一个常数部分(即,簇大小为O(N))可以使用仅O(NlogN)随机选择的期望成对相似性来找到。
2012-07-19 cs.IT cs.LG math.IT
Supervised Hierarchical Clustering with Exponential Linkage
College of Information and Computer Sciences, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院)
在监督聚类中,用于学习成对相异性函数的标准技术通常会受到训练目标和聚类目标之间的差异的影响,从而导致聚类质量差。纠正这种差异需要将训练相异性函数的过程与聚类算法相匹配。在本文中,我们介绍了一种方法来训练的相异度函数的方式,是紧密耦合的层次聚类,特别是单链接。然而,对于给定的数据集,适当的聚类算法通常是未知的。因此,我们引入了一种监督层次聚类的方法,平滑插值之间的单一,平均和完整的链接,我们给出了一个训练过程,同时学习的链接函数和相异性函数。我们用一个新的指数链接函数来实现这一点,该函数具有一个可学习的参数来控制插值。在四个数据集上的实验中,我们的联合训练过程始终匹配或优于下一个最佳训练过程/连接函数对,并且在不一致对上的树状图纯度上提高了8个点。
2019-06-19 cs.LG stat.ML
Data Stream Clustering: Challenges and Issues
Islamic Azad University, Karaj Branch(伊斯兰阿扎德大学卡拉伊分校);University Putra Malaysia (UPM)(马来西亚博特拉大学)
需要非常大的数据库来存储不断插入和查询的大量数据。分析海量数据集,提取有价值的模式,在许多应用中是研究人员感兴趣的。我们可以确定两个主要的技术组巨大的数据库挖掘。一组是指流数据和应用挖掘技术,而第二组则试图直接用有效的算法解决这个问题。近年来,许多研究者将数据流作为一种有效的策略来解决大数据库挖掘问题,而不是对整个数据库进行挖掘。数据流挖掘中的主要问题是演化数据更难被发现,因此需要采用无监督的方法。然而,聚类技术可以帮助我们发现隐藏的信息。在本调查中,我们试图澄清:第一,一般与数据流聚类相关的不同问题定义;第二,在这一研究领域遇到的具体困难;第三,不同的假设,理论和直觉形成了不同方法的基础;以及几个突出的解决方案如何解决不同的问题。索引术语-数据流、聚类、K均值、概念漂移
2010-06-28 cs.DB cs.LG
Hierarchical clustering in particle physics through reinforcement learning
New York University(纽约大学);Bloomberg(彭博)
粒子物理实验通常需要通过对观测到的末态粒子进行分级聚类来重建衰变模式。我们表明,这个任务可以被描述为一个马尔可夫决策过程,并适应强化学习算法来解决它。特别是,我们表明,蒙特卡罗树搜索指导下的神经政策,可以构建高质量的层次聚类,并优于建立贪婪和束搜索基线。
2020-12-18 cs.AI cs.LG hep-ph
A cost function for similarity-based hierarchical clustering
由于缺乏精确的目标函数,层次聚类算法的发展一直受到阻碍。为了帮助解决这种情况,我们在一组点上的层次结构上引入一个简单的成本函数,给定这些点之间的成对相似性。我们表明,这一标准的行为在典型的情况下,它承认一个自上而下的建设过程,具有可证明的良好的近似比。
2015-10-16 cs.DS cs.LG stat.ML
Hierarchical Clustering using Auto-encoded Compact Representation for Time-series Analysis
TCS Research, TATA Consultancy Services(塔塔咨询服务公司TCS研究院)
获得一个强大的时间序列聚类与最佳的距离测量和适当的表示选择总是一个挑战。我们提出了一种新的机制来识别集群,该机制结合了习得的时间序列紧凑表示、自动编码紧凑序列(AECS)和分层聚类方法。该算法利用递归神经网络(Recurrent Neural Network,RNN)在完全序列到序列(Sequence to Sequence,seq2seq)下进行分层聚类,以解决学习的潜在表示AECS的长度远小于原始时间序列长度的问题,同时提高其性能。自动编码器和凝聚层次聚类,选择最佳距离度量来推荐最佳聚类。我们的计划选择最好的距离测量和相应的聚类单变量和多变量的时间序列。我们已经实验了真实世界的时间序列从UCR和UCI存档采取不同的应用领域,如健康,智能城市,制造业等实验结果表明,该方法不仅产生接近基准的结果,但在某些情况下也优于基准。
2021-01-11 cs.AI cs.LG
Foundations of Comparison-Based Hierarchical Clustering
University of Tübingen(图宾根大学);Max-Planck-Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
我们解决了经典的问题,层次聚类,但在一个框架中,人们没有访问的对象或其成对的相似性的表示。相反,我们假设只有一组对象之间的比较是可用的,也就是说,形式为“对象$i$和$j$比对象$k$和$l$更相似”的语句。“这种情况在众包应用中很常见。这项工作的重点是开发基于比较的层次聚类算法,不依赖于顺序嵌入的原则。我们发现,单一和完整的连锁固有的比较为基础,我们开发的平均连锁的变体。我们提供了不同的方法下种植层次划分模型的统计保证。我们还实证证明了所提出的方法在几个数据集上的性能。
2019-06-12 cs.LG stat.ML
Hierarchical Qualitative Clustering: clustering mixed datasets with critical qualitative information
INESC TEC;Universidade do Porto(波尔图大学)
聚类可以用来从数据中提取洞察力,或者验证领域专家所持有的一些假设,即数据分割。在文献中,很少有方法可以应用于聚类定性值使用与数据中存在的其他变量相关联的上下文,而不会失去可解释性。此外,用于计算定性值之间的相异度的度量对于高维混合数据集通常缩放性较差。在这项研究中,我们提出了一种新的方法聚类定性值,层次聚类(HQC)的基础上,并使用最大均值离散。HQC保持数据集中定性信息的原始可解释性。我们将HQC应用于两个数据集。使用Spotify提供的混合数据集,我们展示了我们的方法如何用于基于数千首歌曲的定量特征对音乐艺术家进行聚类。此外,利用公司的财务特征,我们聚类公司行业,并讨论了投资组合多元化的含义。
2020-07-06 cs.LG stat.ML
Density-aware Hierarchical Clustering Based on Element-Categorized Connection Subgraphs
Tongji University(同济大学);RadioSky (Shanghai) Communication Technology Co., Ltd(天睿(上海)通信技术有限公司)
本文提出DHC-ECS方法,整合三类聚类技术,引入新型相似度度量,在异构基准数据集上较基线方法表现更优,可减少人工参数调整依赖。
2026-08-10 cs.AI cs.LG
Hierarchical Clustering with Prior Knowledge
Amazon.com Inc.(亚马逊公司)
层次聚类是一类试图建立聚类层次结构的算法。它一直是构建嵌入式分类方案的主要方法,因为它输出树状图,同时捕获各级粒度的成员之间的层次关系。在算法意义上是贪婪的,层次聚类在每一步都仅仅基于相似性/相异性度量来划分数据。聚类结果往往不仅取决于底层数据的分布,而且还取决于相异性度量的选择和聚类算法。本文提出了一种将实体关系的先验领域知识融入到层次聚类中的方法。具体来说,我们使用超度量空间中的距离函数来编码外部本体信息。我们表明,流行的基于链接的算法可以忠实地恢复编码的结构。类似于一些正则化的机器学习技术,我们将此距离作为惩罚项添加到原始的成对距离中,以调节树状图的最终结构。作为一个案例研究,我们应用这种方法对真实数据的客户行为为基础的产品分类亚马逊服务的建设,利用信息从一个更大的亚马逊范围内的浏览结构。当人们想要利用来自外部源的关系信息时,或者用于生成距离矩阵的数据是噪声和稀疏的时,该方法是有用的。我们的工作属于半监督或约束聚类的范畴。
2018-08-25 cs.LG stat.ML
Hierarchical Clustering of Asymmetric Networks
Stanford University(斯坦福大学);Ohio State University(俄亥俄州立大学);University of Pennsylvania(宾夕法尼亚大学)
本文考虑的网络中,节点之间的关系表示的有向相异性。目标是研究基于相异度结构输出层次聚类的方法,即,由连接参数索引的嵌套分区族。我们的分层聚类方法的构建是围绕容许方法的概念构建的,容许方法是那些遵守价值公理的方法-具有两个节点的网络中的节点在它们之间的两个相异点中的最大值处聚集在一起-和变换-当相异点减少时,网络可能变得更聚集,但不是更少。两种特定的方法,称为互反聚类和非互反聚类,所示,以提供上界和下界的空间中的容许方法。此外,替代聚类方法和公理被认为是。特别是,修改公理的价值,使集群在两个节点的网络发生在最小的两个相异需要存在一个独特的容许聚类方法。
2016-07-21 cs.LG stat.ML
An agglomerative hierarchical clustering method by optimizing the average silhouette width
University College London(伦敦大学学院)
提出了一种基于平均轮廓宽度(ASW)指标优化的关联度量的凝聚层次聚类(AHC)框架和算法HOSil。为了实现以下三个目标,对各种数据结构的聚类方法和估计指标进行了认真的研究:a)聚类质量,b)聚类恢复,c)聚类数估计。与k-means,PAM,单一,完整,平均,Ward,McQuitty,谱,基于模型和几种估计方法相比,HOSil在一系列人工和真实世界的数据结构中表现出更好的聚类质量。它可以识别各种形状的簇,包括球形的,细长的,相对小尺寸的簇,来自不同分布的簇,包括均匀的,t,伽马等。HOSil已显示出良好的回收率,用于正确确定簇的数目。对于某些数据结构,只有HOSil能够识别正确的簇数。
2019-09-26 cs.LG stat.ME
Integrated Clustering and Anomaly Detection (INCAD) for Streaming Data (Revised)
University at Buffalo, State University of New York (SUNY)(纽约州立大学布法罗分校)
目前大多数基于聚类的异常检测方法使用评分模式和阈值来分类异常。这些方法通常针对具有“已知”数目的聚类的目标特定数据集。本文提供了一种流式聚类和异常检测算法,不需要严格的任意阈值的异常分数或知识的集群的数量,同时执行概率异常检测和聚类。这确保了集群形成不受异常数据的存在的影响,从而导致“正常与异常”行为的更可靠的定义。开发INCAD模型背后的动机和导致流模型的路径进行了讨论。
2019-11-01 cs.LG stat.ML
Active Clustering: Robust and Efficient Hierarchical Clustering using Adaptively Selected Similarities
Boston University(波士顿大学);University of Wisconsin - Madison(威斯康星大学麦迪逊分校);Carnegie Mellon University(卡内基梅隆大学)
基于成对相似性的层次聚类是广泛应用于科学领域的常用工具。然而,在许多问题中,获得或计算待聚类的项目之间的相似性可能是昂贵的。本文研究了N个项目的层次聚类的基础上的一个小子集的成对相似性,显着小于完整的N(N-1)/2相似性。首先,我们表明,如果集群内的相似性超过集群间的相似性,那么它是可以正确地确定从少至3 N对数N相似性的层次聚类。我们证明了这种数量级的节省成对相似性的数量需要顺序选择的相似性,以获得自适应的方式,而不是随机挑选。然后,我们提出了一个积极的聚类方法,是强大的异常相似性的一个有限的部分,并显示如何即使在这些嘈杂的相似性值的存在下,我们可以解决层次聚类使用仅O(N log^2 N)成对的相似性。
2011-02-18 cs.IT cs.LG math.IT
Generalized Reductions: Making any Hierarchical Clustering Fair and Balanced with Low Cost
University of Maryland(马里兰大学)
本文提出广义归约方法,将层次聚类的公平近似代价从$O(n^{5/6}poly\log(n))$改进至$O(n^δpoly\log(n))$,并支持任意层级上的公平与均衡保证。
2023-05-09 cs.DS cs.LG
Heterogeneous Tri-stream Clustering Network
College of Mathematics and Informatics, South China Agricultural University(华南农业大学数学与信息学院);Key Laboratory of Smart Agricultural Technology in Tropical South China, Ministry of Agriculture and Rural Affairs(农业农村部华南热带智慧农业技术重点实验室);School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机学院)
对比深度聚类最近因其通过深度神经网络进行联合对比学习和聚类的能力而获得了极大的关注。尽管进展迅速,以前的工作大多需要正反样本对进行对比聚类,这依赖于相对较大的批量大小。此外,它们通常采用具有两个增强视图的双流架构,这忽略了多流架构(特别是异构或混合网络)的可能性和潜在优势。有鉴于此,本文提出了一种新的端到端的深度聚类方法,称为异构三流聚类网络(HTCN)。HTCN的三流结构由三个主要部分组成,包括两个权值共享的在线网络和一个目标网络,目标网络的参数是在线网络参数的指数移动平均。值得注意的是,这两个在线网络是通过同时(i)预测目标网络的实例表示和(ii)强制目标网络的聚类表示与这两个在线网络的聚类表示之间的一致性来训练的。在四个具有挑战性的图像数据集上的实验结果证明了HTCN优于最先进的深度聚类方法。该代码可在https://github.com/dengxiaozhi/HTCN上获得。
2023-01-11 cs.CV cs.LG