Multi-rank Sparse Hierarchical Clustering
University of British Columbia（不列颠哥伦比亚大学）
由于医学研究和其他领域收集和存储信息的能力不断增强，大型和平面数据集的数量激增，这些数据集包含大量特征和相对少量的观察结果。层次聚类是一种广泛使用的聚类工具。在分层聚类中，大而平的数据集可以更好地覆盖聚类特征（有助于解释真实的底层聚类的特征），但是，这样的数据集通常包括大部分可能隐藏底层聚类的噪声特征（非聚类特征）。Witten和Tibshirani（2010）提出了一种稀疏层次聚类框架，使用自适应选择的特征子集对观测进行聚类，然而，我们证明了当数据集包含具有复杂结构的聚类特征时，该框架具有一定的局限性。在本文中，我们提出了多秩稀疏层次聚类（MrSHC）。我们表明，使用模拟研究和真实数据的例子，MrSHC产生优越的特征选择和聚类性能相比，经典的（现成的）层次聚类和现有的稀疏层次聚类框架。
2017-07-03 cs.LG stat.ML
A Novel Multi-clustering Method for Hierarchical Clusterings, Based on Boosting
Isfahan University of Technology（伊斯法罕理工大学）
Bagging和Boosting被证明是分类组合问题中构造多分类器的最佳方法。在“平坦聚类”问题的领域中，还认识到基于提升的多聚类方法提供改进质量的聚类。在本文中，我们介绍了一种新的多聚类方法的“层次聚类”的基础上提升理论，它创建一个更稳定的数据集的层次聚类。所提出的算法包括一个提升迭代，其中通过对原始数据集的元素进行加权随机采样来创建样本的自举。然后应用层次聚类算法对选定的子样本建立描述层次结构的树状图。最后，采用分层聚类组合方法将多个树图结果的相异性描述矩阵组合为一致性描述矩阵。在真实流行数据集上的实验表明，与标准的层次聚类方法相比，Boosted方法提供了更高质量的解决方案。
2018-05-29 cs.CV cs.LG stat.ML
A Hierarchical Dirichlet Process Model with Multiple Levels of Clustering for Human EEG Seizure Modeling
University of Pennsylvania（宾夕法尼亚大学）
根据人类颅内脑电图（iEEG）记录癫痫发作的多层次结构，我们引入了一种新的层次Dirichlet过程--多层聚类层次Dirichlet过程（MLC-HDP），它同时对多个层次上的数据集进行聚类。我们的癫痫发作数据集包含每个患者每次癫痫发作的大脑活动记录，通常超过100个单独的通道。MLC-HDP模型同时对通道类型、患者类型和患者类型进行聚类。我们详细描述了这个模型及其实现。我们还提出了一个模拟研究的结果比较MLC-HDP一个类似的模型，嵌套狄利克雷过程，并最终证明了MLC-HDP的使用在多个患者的癫痫发作建模。我们发现MLC-HDP的聚类与独立的人类医生聚类相当。据我们所知，MLC-HDP模型是癫痫文献中第一个能够在患者内和患者之间聚集癫痫发作的模型。
2012-06-18 cs.LG stat.AP stat.ML
Anytime Hierarchical Clustering
University of Pennsylvania（宾夕法尼亚大学）
我们提出了一种新的任何时候层次聚类方法，迭代变换任意初始层次结构的配置上的测量沿着一个序列的树，我们证明了一个固定的数据集必须终止于一个链的嵌套分区，满足自然的同质性要求。每个递归步骤重新编辑树，以便改进与许多常用的（例如，单个、平均、完全）连接功能。作为一种替代标准的批处理算法，我们提出了数值证据表明，适当的适应这种方法可以产生分散的，可扩展的算法适用于分布式/并行计算的聚类层次结构和在线跟踪聚类树适用于大型，动态变化的数据库和异常检测。
2014-04-13 cs.IR cs.LG stat.ML
Guarantees for Hierarchical Clustering by the Sublevel Set method
Meila（2018）引入了一种基于优化的方法，称为子水平集方法，以保证聚类接近最佳和“近似正确”，而不依赖于任何关于生成数据的分布的假设。本文将Sublevel Set方法扩展到Dasgupta（2016）提出的基于成本的层次聚类范式。
2020-07-06 cs.LG stat.ML
Accelerated Hierarchical Density Clustering
提出了一种基于层次密度聚类的加速算法。我们的新算法对HDBSCAN* 进行了改进，HDBSCAN * 本身比流行的DBSCAN算法提供了显着的定性改进。加速的HDBSCAN* 算法提供了与DBSCAN相当的性能，同时支持可变密度群集，并消除了对难以调整的距离尺度参数的需求。这使得加速HDBSCAN* 成为基于密度的集群的默认选择。图书馆网址：https://github.com/scikit-learn-contrib/hdbscan
2017-05-23 stat.ML
Hierarchical Correlation Clustering and Tree Preserving Embedding
Chalmers University of Technology（查尔姆斯理工大学）；Amirkabir University of Technology (Tehran Polytechnic)（阿米尔卡比尔理工大学（德黑兰理工大学））
提出层次相关聚类方法以处理正负成对不相似性，并结合树保留嵌入与极小极大距离扩展进行无监督表示学习，在多个数据集上验证了方法性能。
2025-02-03 cs.LG stat.ML
Convex Clustering through MM: An Efficient Algorithm to Perform Hierarchical Clustering
Econometric Institute（计量经济学研究所）；Erasmus University Rotterdam（伊拉斯姆斯大学鹿特丹分校）；Graduate School of Engineering Science（工学研究科）；Osaka University（大阪大学）
本文提出CCMM算法，通过majorization-minimization和簇融合高效解决大规模凸聚类问题，并确保层次结构终止于单一簇，可处理百万级数据。
2023-12-21 cs.LG stat.ML
Fair Hierarchical Clustering
Google（谷歌）；University of Maryland（马里兰大学）；Carnegie Mellon University（卡内基梅隆大学）
随着机器学习变得越来越普遍，研究人员开始认识到确保机器学习系统公平的必要性。最近，有兴趣定义一个公平的概念，减轻在传统的聚类过度表示。在本文中，我们将这一概念扩展到层次聚类，其目标是递归地划分数据以优化特定目标。对于各种自然的目标，我们得到简单，有效的算法，找到一个可证明良好的公平分层聚类。经验上，我们表明，我们的算法可以找到一个公平的层次聚类，只有一个可以忽略不计的损失的目标。
2020-06-19 cs.DS cs.LG stat.ML
Hierarchical Clustering using Randomly Selected Similarities
Technicolor Research（特艺集团研究院）
根据成对相似性对项目进行层次聚类的问题存在于从生物学到网络的各个科学学科中。通常，聚类技术的应用受到获得项目对之间的相似性的成本的限制。虽然先前的工作已经开发，通过自适应测量使用一组显着减少的成对相似性重建聚类，这些技术是只适用于当选择的相似性可供用户。在本文中，我们研究重建层次聚类相似性观察随机。我们推导出精确的界限，这表明，一个显着的分数的层次聚类可以恢复使用少于所有的成对相似性。我们发现，正确的层次聚类下降到项目总数的一个常数部分（即，簇大小为O（N））可以使用仅O（NlogN）随机选择的期望成对相似性来找到。
2012-07-19 cs.IT cs.LG math.IT
Dissimilarity Clustering by Hierarchical Multi-Level Refinement
Université Paul Verlaine-Metz（保罗·魏尔伦-梅斯大学）；Université Paris 1 Panthéon-Sorbonne（巴黎第一大学 先贤祠-索邦）
本文介绍了一种新的方法，优化的自然扩展的量化误差用于k-均值聚类相异的数据。该方法是基于层次聚类分析结合多层次启发式求精。该方法计算效率高，并且比传统方法实现了更好的量化误差
2012-04-29 cs.LG stat.ML
Interactive Steering of Hierarchical Clustering
Tsinghua University（清华大学）；Microsoft Research（微软研究院）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
层次聚类是组织大数据进行探索性数据分析的重要技术。然而，现有的一刀切的层次聚类方法往往无法满足不同用户的多样化需求。为了解决这一挑战，我们提出了一种交互式转向方法，通过利用公共知识（例如，维基百科）和用户的私人知识。我们的方法的新颖性包括：1）使用知识（知识驱动）和内在数据分布（数据驱动）自动构建层次聚类的约束，以及2）通过可视化界面（用户驱动）实现聚类的交互式转向。我们的方法首先将每个数据项映射到知识库中最相关的项。初始约束树，然后使用蚁群优化算法提取。该算法平衡了树的宽度和深度，并以高置信度覆盖数据项。在给定约束树的情况下，利用进化贝叶斯玫瑰树对数据项进行层次聚类。为了清楚地传达层次聚类的结果，一个不确定性感知的树可视化已经开发，使用户能够快速定位最不确定的子层次结构，并交互式地改善它们。定量评估和案例研究表明，所提出的方法有助于建立定制的聚类树，在一个高效和有效的方式。
2020-09-21 cs.LG stat.ML
Hierarchical Quasi-Clustering Methods for Asymmetric Networks
Stanford University（斯坦福大学）；Ohio State University（俄亥俄州立大学）；University of Pennsylvania（宾夕法尼亚大学）
本文介绍了层次准聚类方法，一个推广的层次聚类的非对称网络中的输出结构保留的输入数据的非对称性。我们证明了这种输出结构等价于一个有限的准超度量空间，并研究了关于两个理想性质的容许性。我们证明了一个修改后的版本的单链接是唯一允许的准聚类方法。此外，我们证明了所提出的方法的稳定性，我们建立的不变性履行it.Algorithms进一步发展和准聚类分析的价值与美国境内的移民研究。
2014-04-17 cs.LG stat.ML
Branching embedding: A heuristic dimensionality reduction algorithm based on hierarchical clustering
University of Toyama（富山大学）；Institute of Natural Medicine, University of Toyama, Japan（富山大学自然医学研究所）
本文提出了一种新的降维算法-分支嵌入（BE）。它将树状图转换为二维散点图，并可视化原始高维数据的固有结构。由于转换部分在计算上要求不高，因此BE算法对于已经执行了分层聚类的情况将是有益的。数值实验表明，该算法的输出适度地保持了原有的层次结构。
2018-05-06 cs.LG stat.ML
Active Clustering: Robust and Efficient Hierarchical Clustering using Adaptively Selected Similarities
Boston University（波士顿大学）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；Carnegie Mellon University（卡内基梅隆大学）
基于成对相似性的层次聚类是广泛应用于科学领域的常用工具。然而，在许多问题中，获得或计算待聚类的项目之间的相似性可能是昂贵的。本文研究了N个项目的层次聚类的基础上的一个小子集的成对相似性，显着小于完整的N（N-1）/2相似性。首先，我们表明，如果集群内的相似性超过集群间的相似性，那么它是可以正确地确定从少至3 N对数N相似性的层次聚类。我们证明了这种数量级的节省成对相似性的数量需要顺序选择的相似性，以获得自适应的方式，而不是随机挑选。然后，我们提出了一个积极的聚类方法，是强大的异常相似性的一个有限的部分，并显示如何即使在这些嘈杂的相似性值的存在下，我们可以解决层次聚类使用仅O（N log^2 N）成对的相似性。
2011-02-18 cs.IT cs.LG math.IT
A cost function for similarity-based hierarchical clustering
由于缺乏精确的目标函数，层次聚类算法的发展一直受到阻碍。为了帮助解决这种情况，我们在一组点上的层次结构上引入一个简单的成本函数，给定这些点之间的成对相似性。我们表明，这一标准的行为在典型的情况下，它承认一个自上而下的建设过程，具有可证明的良好的近似比。
2015-10-16 cs.DS cs.LG stat.ML
Tree-SNE: Hierarchical Clustering and Visualization Using t-SNE
Yale University（耶鲁大学）
t-SNE和层次聚类是探索性数据分析的流行方法，特别是在生物学中。在加速t-SNE和获得更细粒度结构的最新进展的基础上，我们将两者结合起来创建tree-SNE，这是一种基于堆叠一维t-SNE嵌入的分层聚类和可视化算法。我们还介绍了阿尔法聚类，它建议最佳的集群分配，没有预知的集群数量，基于跨多个尺度的集群稳定性。我们证明了树SNE和阿尔法聚类对手写数字图像、血细胞质谱仪（CyTOF）数据和视网膜细胞单细胞RNA测序（scRNA-seq）数据的有效性。此外，为了证明可视化的有效性，我们使用阿尔法聚类获得无监督聚类结果的竞争力与几个图像数据集上的最新技术。软件可在https://github.com/isaacrob/treesne上获得。
2020-02-13 cs.LG stat.ML
An Objective for Hierarchical Clustering in Euclidean Space and its Connection to Bisecting K-means
Tepper School of Business, Carnegie Mellon University（卡内基梅隆大学泰珀商学院）
本文探讨了层次聚类的情况下，对点的相异分数（例如距离）作为输入的一部分。最近引入的目标点与相异分数的结果在每棵树是1/2近似，如果距离形成一个度量。这表明目标并没有在度量空间中的好的和差的层次聚类之间做出显着的区分。基于此，本文在欧氏空间中提出了一种新的全局层次聚类目标。目标捕获了促使使用分裂聚类算法的标准：当分裂发生时，同一聚类中的点应该比不同聚类中的点更相似。此外，这一目标给出了合理的结果，地面实况输入层次聚类。本文建立了这个目标和二分k-means算法之间的理论联系。本文证明了最优2-均值解的结果是目标的常数逼近。这是第一篇证明二分k-means算法在整个树上优化自然全局目标的论文。
2020-08-30 cs.LG stat.ML
Hierarchical clustering with maximum density paths and mixture models
Institute of Computer Science and Campus Institute Data Science, University of Göttingen（计算机科学研究所和校园数据科学研究所，哥廷根大学）；Max Planck Institute for Dynamics and Self-Organization（动态与自组织Max Planck研究所）
针对现有层次聚类在高维、无清晰密度间隙数据上的不足，提出基于概率的t-NEB方法，通过过聚类密度估计、最大密度路径查找和自底向上合并三步实现最优性能与有意义层次，助力探索性数据分析。
2025-05-21 cs.LG stat.ML
Order preserving hierarchical agglomerative clustering
偏序和有向无环图通常是在许多领域和应用中自然出现的循环数据结构，并且用于表示领域中实体之间的有序关系。例如，项目计划中的任务依赖关系、分布式账本中的交易顺序以及计算机程序中的任务执行顺序，仅举几例。研究了这类有序数据的保序层次聚类问题。也就是说，如果我们在原始数据中有$a < b$，并用$[a]$和$[b]$表示它们各自的聚类，那么我们在生成的聚类中将有$[a] < [b]$。聚类是基于相似性的，并使用标准的链接功能，如单一和完整的链接，是经典的层次聚类的扩展。为了实现这一点，我们定义的输出运行经典的层次聚类严格有序的数据是部分树状图，子树的经典树状图与几个连接组件。然后，我们构建了一个嵌入的部分树状图在一个集合到家庭的超度量在同一个集合。一个最佳的层次聚类被定义为部分树状图对应的超度量最接近原来的相异度测量，测量的p-范数。因此，该方法是经典的层次聚类和超度量拟合的组合。一个参考实现的合成随机数据和现实世界的数据库中的机器零件的实验。实验结果表明，与现有的方法相比，该方法在聚类质量和顺序保持方面都有很大的优势。
2021-09-09 cs.LG stat.ML
A Multiscale Graph Convolutional Network Using Hierarchical Clustering
University of Cambridge（剑桥大学）
包含在分层拓扑结构中的信息，是许多网络所固有的，目前未得到充分利用。一种新的架构，探索利用这些信息，通过多尺度分解。通过Girvan-Newman分层聚类算法产生树状图。它被分割并通过图卷积层馈送，允许架构学习网络的多尺度潜在空间表示，从细粒度到粗粒度。该架构在基准引文网络上进行了测试，证明了具有竞争力的性能。由于层次网络的丰富性，可能的应用包括量子分子性质预测，蛋白质界面预测和偏微分方程的多尺度计算衬底。
2020-06-22 cs.LG stat.ML
Merging $K$-means with hierarchical clustering for identifying general-shaped groups
聚类划分数据集，使得放在一个组中的观测值相似，但与其他组中的观测值不同。分层和$K$均值聚类是两种方法，但具有不同的优点和缺点。例如，分层聚类识别树状结构中的组，但在大型数据集中遭受计算复杂性，而$K$均值聚类是有效的，但被设计为识别均匀的球形聚类。我们提出了一种混合非参数聚类方法，融合了两种方法来识别一般形状的集群，并可以应用于更大的数据集。具体来说，我们首先使用$K$ -means将数据集划分为球形组。接下来，我们使用分层方法合并这些组，并将数据驱动的距离度量作为停止标准。我们的建议有可能揭示数据集中具有一般形状和结构的群体。我们在几个模拟和真实数据集上表现出良好的性能。
2017-12-23 stat.CO stat.ME stat.ML
Posterior Regularization on Bayesian Hierarchical Mixture Clustering
Tencent（腾讯）；University College Dublin（都柏林大学学院）；Trinity College Dublin（都柏林圣三一学院）
针对贝叶斯层次混合聚类（BHMC）高层节点分离度弱的问题，提出对各层节点施加最大间隔约束的后验正则化方法，有效提升了BHMC模型的聚类分离效果。
2023-05-05 cs.AI cs.LG stat.ML
Maximum Likelihood Estimation for Single Linkage Hierarchical Clustering
我们推导出一个统计模型，估计的树状图从单连锁层次聚类（SLHC），考虑到通过噪声或腐败的测量分离的数据的不确定性。我们的重点是只估计层次的分区提供的树状图，而不是在后者的高度。介绍了估计这种“树状图结构”的概念，并描述了树状图结构的近似极大似然估计（MLE）。这些想法说明了一个简单的蒙特卡罗模拟，至少对于小的数据集，表明该方法优于SLHC在噪声的存在下。
2015-11-25 stat.ML
Statistical Properties of the Single Linkage Hierarchical Clustering Estimator
基于距离的层次聚类（HC）方法在无监督数据分析中得到了广泛的应用，但很少有人考虑到距离数据的不确定性。我们将通过腐败或噪声的成对距离的不确定性的统计模型和调查的问题，估计HC作为未知参数的测量。具体来说，我们专注于单连锁层次聚类（SLHC），并研究其几何形状。我们证明了在相当合理的条件下的概率分布管理的测量，SLHC是等价于最大部分配置文件似然估计（MPPLE）的数据中包含的一些信息被忽略。同时，我们表明，直接评估的SLHC对极大似然估计（MLE）的成对距离产生一个相合估计量。因此，预期完整的MLE在获得地面真实度量的正确HC结果方面比SLHC表现更好。
2016-09-01 stat.ML
Supervised Hierarchical Clustering with Exponential Linkage
College of Information and Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）
在监督聚类中，用于学习成对相异性函数的标准技术通常会受到训练目标和聚类目标之间的差异的影响，从而导致聚类质量差。纠正这种差异需要将训练相异性函数的过程与聚类算法相匹配。在本文中，我们介绍了一种方法来训练的相异度函数的方式，是紧密耦合的层次聚类，特别是单链接。然而，对于给定的数据集，适当的聚类算法通常是未知的。因此，我们引入了一种监督层次聚类的方法，平滑插值之间的单一，平均和完整的链接，我们给出了一个训练过程，同时学习的链接函数和相异性函数。我们用一个新的指数链接函数来实现这一点，该函数具有一个可学习的参数来控制插值。在四个数据集上的实验中，我们的联合训练过程始终匹配或优于下一个最佳训练过程/连接函数对，并且在不一致对上的树状图纯度上提高了8个点。
2019-06-19 cs.LG stat.ML
FISHDBC: Flexible, Incremental, Scalable, Hierarchical Density-Based Clustering for Arbitrary Data and Distance
Symantec Research Labs（赛门铁克研究实验室）
FISHDBC是一种灵活的、增量的、可扩展的、基于层次密度的聚类算法。它很灵活，因为它使用户能够处理任意数据，跳过通常将原始数据转换为数值数组的特征提取步骤，让用户定义任意距离函数。它是增量的和可扩展的：它避免了其他方法在非度量空间中的$\mathcal O(n^2)$性能，并且当添加很少的项时，只需要轻量级计算来更新聚类。它是分层的：它产生“扁平”聚类，该聚类可以扩展为树结构，从而当数据探索需要时，用户可以将聚类分组和/或划分为子聚类或超聚类。它是基于密度的，近似于HDBSCAN*，是DBSCAN的一种演变。
2019-10-16 cs.DS cs.LG stat.ML
Foundations of Comparison-Based Hierarchical Clustering
University of Tübingen（图宾根大学）；Max-Planck-Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
我们解决了经典的问题，层次聚类，但在一个框架中，人们没有访问的对象或其成对的相似性的表示。相反，我们假设只有一组对象之间的比较是可用的，也就是说，形式为“对象$i$和$j$比对象$k$和$l$更相似”的语句。“这种情况在众包应用中很常见。这项工作的重点是开发基于比较的层次聚类算法，不依赖于顺序嵌入的原则。我们发现，单一和完整的连锁固有的比较为基础，我们开发的平均连锁的变体。我们提供了不同的方法下种植层次划分模型的统计保证。我们还实证证明了所提出的方法在几个数据集上的性能。
2019-06-12 cs.LG stat.ML
Hierarchical Qualitative Clustering: clustering mixed datasets with critical qualitative information
INESC TEC；Universidade do Porto（波尔图大学）
聚类可以用来从数据中提取洞察力，或者验证领域专家所持有的一些假设，即数据分割。在文献中，很少有方法可以应用于聚类定性值使用与数据中存在的其他变量相关联的上下文，而不会失去可解释性。此外，用于计算定性值之间的相异度的度量对于高维混合数据集通常缩放性较差。在这项研究中，我们提出了一种新的方法聚类定性值，层次聚类（HQC）的基础上，并使用最大均值离散。HQC保持数据集中定性信息的原始可解释性。我们将HQC应用于两个数据集。使用Spotify提供的混合数据集，我们展示了我们的方法如何用于基于数千首歌曲的定量特征对音乐艺术家进行聚类。此外，利用公司的财务特征，我们聚类公司行业，并讨论了投资组合多元化的含义。
2020-07-06 cs.LG stat.ML
Hierarchical Clustering with Prior Knowledge
Amazon.com Inc.（亚马逊公司）
层次聚类是一类试图建立聚类层次结构的算法。它一直是构建嵌入式分类方案的主要方法，因为它输出树状图，同时捕获各级粒度的成员之间的层次关系。在算法意义上是贪婪的，层次聚类在每一步都仅仅基于相似性/相异性度量来划分数据。聚类结果往往不仅取决于底层数据的分布，而且还取决于相异性度量的选择和聚类算法。本文提出了一种将实体关系的先验领域知识融入到层次聚类中的方法。具体来说，我们使用超度量空间中的距离函数来编码外部本体信息。我们表明，流行的基于链接的算法可以忠实地恢复编码的结构。类似于一些正则化的机器学习技术，我们将此距离作为惩罚项添加到原始的成对距离中，以调节树状图的最终结构。作为一个案例研究，我们应用这种方法对真实数据的客户行为为基础的产品分类亚马逊服务的建设，利用信息从一个更大的亚马逊范围内的浏览结构。当人们想要利用来自外部源的关系信息时，或者用于生成距离矩阵的数据是噪声和稀疏的时，该方法是有用的。我们的工作属于半监督或约束聚类的范畴。
2018-08-25 cs.LG stat.ML
Hierarchical Clustering of Asymmetric Networks
Stanford University（斯坦福大学）；Ohio State University（俄亥俄州立大学）；University of Pennsylvania（宾夕法尼亚大学）
本文考虑的网络中，节点之间的关系表示的有向相异性。目标是研究基于相异度结构输出层次聚类的方法，即，由连接参数索引的嵌套分区族。我们的分层聚类方法的构建是围绕容许方法的概念构建的，容许方法是那些遵守价值公理的方法-具有两个节点的网络中的节点在它们之间的两个相异点中的最大值处聚集在一起-和变换-当相异点减少时，网络可能变得更聚集，但不是更少。两种特定的方法，称为互反聚类和非互反聚类，所示，以提供上界和下界的空间中的容许方法。此外，替代聚类方法和公理被认为是。特别是，修改公理的价值，使集群在两个节点的网络发生在最小的两个相异需要存在一个独特的容许聚类方法。
2016-07-21 cs.LG stat.ML
Scalable Hierarchical Clustering with Tree Grafting
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Microsoft Research（微软研究院）；IBM（国际商业机器公司）
我们介绍Grinch，一个新的算法，大规模的，非贪婪的层次聚类与一般的连接功能，计算任意两个点集之间的相似性。Grinch的关键组件是它的旋转和移植子例程，这些子例程在新点到达时有效地重新配置层次结构，支持发现具有复杂结构的集群。Grinch的动机是一个新的概念的分离性与联动功能的聚类：我们证明，当模型是一致的地面真相聚类，Grinch保证产生一个集群树包含地面真相，独立的数据到达顺序。我们在基准和作者共指数据集（具有标准和学习的链接函数）上的实证结果表明，Grinch比其他可扩展方法更准确，并且比层次凝聚聚类快几个数量级。
2019-12-31 cs.DS cs.LG stat.ML
An Online Hierarchical Algorithm for Extreme Clustering
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
许多现代聚类方法可以很好地扩展到大量的数据项N，但不能扩展到大量的聚类K。本文介绍了PERCH，一个新的非贪心算法的在线层次聚类，规模庞大的N和K-一个问题的设置，我们长期极端聚类。我们的算法有效地路由新的数据点的叶子的增量构建的树。出于对准确性和速度的期望，我们的方法执行树旋转，以提高子树纯度和鼓励平衡。我们证明了，在自然可分性假设下，我们的非贪心算法将产生具有完美树状图纯度的树，而不管在线数据到达顺序。我们的实验表明，PERCH构建更准确的树比其他树建设聚类算法和规模以及与N和K，实现了更高的质量聚类比最强的平聚类竞争对手在近一半的时间。
2017-04-06 cs.LG stat.ML
Dendrogram of mixing measures: Hierarchical clustering and model selection for finite mixture models
本研究提出基于过拟合混合测度构建树状图的新方法，衔接层次聚类与混合建模，可在弱可识别条件下一致选成分数并获最优收敛速率，经模拟验证且可用于单细胞RNA分析。
2024-03-08 stat.ME stat.ML
Admissible Hierarchical Clustering Methods and Algorithms for Asymmetric Networks
Stanford University（斯坦福大学）；Ohio State University（俄亥俄州立大学）；University of Pennsylvania（宾夕法尼亚大学）
本文的特点是遵守两个先前介绍的公理-因此，命名为容许的方法-层次聚类方法，并提出了易于处理的算法，其实现。我们利用的事实是，对于非对称网络，每一个允许的方法必须包含在互惠和非互惠聚类之间，并描述了三个家庭的中间方法。嫁接方法在由不同的容许方法生成的树状图之间交换分支。凸组合族通过树状图空间中的凸运算将容许方法组合在一起;第三，半互反族将网络中由强循环影响相关的节点聚类。算法计算的层次集群所产生的互惠和非互惠聚类，以及嫁接，凸组合，半互惠家庭使用矩阵运算的dioid代数。最后，介绍了聚类方法和算法的例子，通过他们的应用程序，以描述美国（U.S.）部门之间的相互关系的网络。经济
2016-07-21 cs.LG stat.ML
Hierarchical Clustering With Confidence
University of Michigan（密歇根大学）；University of Southern California（南加州大学）
本文提出一种随机化层次聚类方法，通过在每个聚类节点构造有效p值，用于检验贪婪合并的证据，提高了聚类稳定性评估的可靠性。
2026-03-14 math.ST stat.ME stat.ML
Agglomerative Hierarchical Clustering for Selecting Valid Instrumental Variables
本文提出结合层次聚类与过度识别检验的方法，从大量工具变量中筛选有效者，处理多个内生回归元，并证明在最大有效组下具备预言性质，模拟表现优越，应用于移民对工资影响估计。
2024-07-18 stat.ME stat.ML
Online Hierarchical Clustering Approximations
Google Research（谷歌研究院）
层次聚类是一种广泛使用的方法，用于在多个粒度级别上对数据集进行聚类。尽管它的流行，现有的算法，如层次凝聚聚类（HAC）是有限的离线设置，因此需要整个数据集是可用的。这就禁止了它们在现代学习应用程序中经常遇到的大型数据集上的使用。在本文中，我们考虑层次聚类的在线设置，点到达一个时间。我们提出了两种算法，寻求优化莫斯利和王（MW）的收入函数，一个变种的Dasgupta成本。这些算法在效率和MW收入性能之间提供了不同的权衡。第一个算法，OTD，是一个高效的在线自上而下的算法，可证明实现了1/3近似的MW收入下的数据分离的假设。第二个算法，OHAC，是一个在线对应离线HAC，这是已知的产生1/3近似MW收入，并在实践中产生良好的质量集群。我们表明，OHAC近似离线HAC利用一种新的分裂合并过程。我们的经验表明，OTD和OHAC提供显着的效率和集群质量增益分别超过基线。
2019-09-20 cs.LG stat.ML
Hierarchical clustering by aggregating representatives in sub-minimum-spanning-trees
University of Electronic Science and Technology of China（电子科技大学）；University of Minnesota（明尼苏达大学）
层次聚类的主要挑战之一是如何适当地识别聚类树的较低级别中的代表点，这些代表点将被用作聚类树的较高级别中的根以进行进一步的聚合。然而，传统的层次聚类方法采用了一些简单的技巧来选择“代表性”点，这些点可能不够具有代表性。因此，所构造的聚类树在其较差的鲁棒性和较弱的可靠性方面不太吸引人。针对这一问题，提出了一种新的层次聚类算法，该算法在构建聚类树图的同时，通过对每个子最小生成树中倒数最近的数据点进行评分，有效地检测出代表点。在UCI数据集上的大量实验表明，该算法比其他基准测试更准确。同时，分析表明，该算法的时间复杂度为O（nlogn），空间复杂度为O（logn），表明该算法在处理海量数据时具有较好的可扩展性，同时具有较低的时间和存储开销。
2021-11-11 cs.AI cs.LG stat.ML
Cluster Size Management in Multi-Stage Agglomerative Hierarchical Clustering of Acoustic Speech Segments
University of Stellenbosch（斯泰伦博斯大学）
凝聚层次聚类（AHC）只需要已知对象之间的相似性。这是有吸引力的，当聚类信号的长度变化，如语音，这是不容易表示在固定维向量空间。然而，AHC的特点是$O(N^2)$空间和时间复杂度，使其不可行的大型数据集的分区。这最近已经解决了一个方法的基础上迭代重新聚类的独立子集的较大的数据集。我们表明，由于其迭代性质，这个过程有时会导致个别子集的未经检查的增长，从而损害其有效性。我们提出了一个简单的空间管理策略的集成到迭代过程中，并通过实验表明，这导致没有损失的性能方面的F-措施，同时保证阈值空间复杂度不被突破。
2018-10-30 cs.LG stat.ML
Natural Hierarchical Cluster Analysis by Nearest Neighbors with Near-Linear Time Complexity
我们提出了一个基于最近邻的聚类算法，结果在一个自然定义的层次结构的集群。相反，凝聚和分裂的层次聚类算法，我们的方法是不依赖于迭代工作的算法，在这个意义上说，分区的层次聚类纯粹是根据输入数据集定义。我们的方法是一个通用的层次聚类方法，因为它可以实现为自自底向上的或自上而下的版本，这两种结果在相同的聚类。我们表明，对于某些类型的数据集，我们的算法具有接近线性的时间和空间复杂度。
2022-03-15 cs.DS cs.LG stat.ML
Bayesian Hierarchical Clustering with Exponential Family: Small-Variance Asymptotics and Reducibility
Pohang University of Science and Technology（浦项科技大学）
贝叶斯层次聚类（Bayesian hierarchical clustering，BHC）是一种凝聚聚类方法，它定义了一个概率模型，并评估其边缘似然来决定哪些聚类要合并。虽然BHC提供了一些优势，传统的基于距离的凝聚聚类算法，连续的边缘似然评估和仔细的超参数调整是繁琐的，限制了可扩展性。在本文中，我们放松BHC到一个非概率制定，探索共轭指数模型的小方差渐近。我们开发了一种新的聚类算法，被称为放松BHC（RBHC），从BHC模型的渐近极限，表现出基于距离的凝聚聚类算法的可扩展性，以及贝叶斯非参数模型的灵活性。我们还研究了从BHC模型的渐近极限中出现的相异性度量的减少，使我们能够使用可扩展的算法，如最近邻链算法。在人工数据集和真实数据集上的数值实验证明了该方法的有效性和高性能。
2015-06-03 cs.LG stat.ML
Fair Algorithms for Hierarchical Agglomerative Clustering
University of California, Davis（加州大学戴维斯分校）
本文提出适用于层次凝聚聚类（HAC）的公平算法，通过强制公平性约束，在不依赖距离链接准则、支持多种公平度量和多受保护群体的前提下保持竞争力，并在UCI数据集上验证其优于原始HAC及现有方法的公平性。
2023-07-31 cs.LG stat.ML
HiPart: Hierarchical Divisive Clustering Toolbox
University of Thessaly（色萨利大学）；Signal Ocean SMPC（信号海洋SMPC公司）
本文提出开源Python库HiPart，提供高效可解释的分裂式层次聚类实现，支持交互式可视化干预结果，侧重计算效率适配大数据场景，依赖稳定且以MIT许可证开源。
2022-09-18 cs.AI cs.LG stat.ML
Towards an Axiomatic Approach to Hierarchical Clustering of Measures
Institute for Stochastics and Applications（随机与应用研究所）；University of Stuttgart（斯图加特大学）
我们提出了一些公理的概率测度的层次聚类，并调查其后果。其基本思想是让用户为一些基本的措施规定聚类。这是在不需要任何度量、相似性或不相似性的概念的情况下完成的。然后，我们的主要结果表明，对于每个合适的选择用户定义的聚类的基本措施，我们得到一个独特的概念，满足一组加法和连续性公理的分布在一个大的集合上的聚类。我们说明了发达国家的理论，许多例子，包括一些和一些没有密度。
2015-08-15 cs.LG math.ST stat.ME
Modern hierarchical, agglomerative clustering algorithms
本文提出了算法的层次，凝聚聚类，最有效地执行在现代标准软件中给出的通用设置。要求是：（1）输入数据由数据点之间的成对不相似性给出，但也讨论了矢量数据的扩展（2）输出是“逐步树状图”，这是一种由当前标准软件中的所有实现共享的数据结构。我们提出的算法（旧的和新的），在这种设置有效地执行聚类，无论是在一个渐进的最坏情况下的分析，并从实用的角度来看。本文的主要贡献是：（1）提出了一种新的距离更新算法，该算法适用于任何距离更新方案，性能明显优于现有的算法。(2)我们证明了两个算法的正确性Rohlf和Murtagh，这是必要的，在每种情况下，由于不同的原因。(3)我们给出了有根据的建议，目前最好的算法的各种凝聚聚类方案。
2011-09-12 cs.DS stat.ML
Hierarchical Clustering with Structural Constraints
Stanford University（斯坦福大学）
层次聚类是一种流行的无监督数据分析方法。对于许多现实世界的应用程序，我们希望利用有关数据的先验信息，这些信息对聚类层次结构施加了约束，并且没有被算法可用的特征集捕获。这就产生了“具有结构约束的层次聚类”问题。结构性约束对平均/单一链接等自下而上的方法构成了重大挑战，尽管它们可以自然地纳入自上而下的分裂算法中，但其输出质量不存在正式保证。在本文中，我们为两个简单的自顶向下算法提供了可证明的近似保证，使用最近引入的具有成对相似性信息的层次聚类的优化观点[Dasgupta，2016]。我们展示了如何找到好的解决方案，即使在存在冲突的先验信息，通过制定一个基于约束的正则化的目标。我们进一步探索了该目标的变体，用于相异信息[Cohen-Addad等人，#20182;改进现有技术。最后，我们展示了我们的方法在一个真正的数据集的分类应用程序。
2018-07-14 cs.AI cs.DS cs.LG
Efficient Active Algorithms for Hierarchical Clustering
Carnegie Mellon University（卡内基梅隆大学）
传感技术的进步和互联网的发展导致了现代数据集规模的爆炸式增长，而存储和处理能力仍然落后。这激发了对高效算法的需求，无论是在所需的测量数量还是运行时间方面。为了应对与大型数据集相关的挑战，我们提出了一个通用的主动层次聚类框架，该框架在小的数据子集上重复运行现成的聚类算法，并保证性能，测量复杂性和运行时复杂性。我们实例化这个框架与一个简单的谱聚类算法，并提供其性能的具体结果，表明，在某些假设下，该算法恢复所有集群的大小？(log对于一个包含n个对象的数据集，时间复杂度为O（n log^3 n）。通过大量的实验，我们也证明了这个框架实际上是诱人的。
2012-06-18 cs.LG stat.ML
Fair Clustering via Hierarchical Fair-Dirichlet Process
Texas A&M University（德州农工大学）
本文提出一种基于分层公平狄利克雷过程模型的公平聚类新方法，以替代传统基于目标函数优化的公平聚类框架。
2023-05-27 cs.CY cs.LG stat.ML
An Axiomatic Definition of Hierarchical Clustering
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Halıcıoğlu Data Science Institute, University of California, San Diego（加利福尼亚大学圣迭戈分校哈利西奥格鲁数据科学学院）
本文通过公理化方法为分段常数密度定义总体层次聚类，并推广到一般密度，证明在温和条件下该定义与 Hartigan 聚类树一致。
2024-07-04 cs.LG math.ST stat.ML
Flattening a Hierarchical Clustering through Active Learning
INRIA Lille（里尔法国国家信息与自动化研究所）；Sapienza University of Rome（罗马大学）；Google（谷歌）
我们研究主动学习的两两相似性的树叶起源于层次聚类程序。在可实现的设置中，我们提供了一个完整的表征的查询数量需要实现完美的重建的树切割。在不可实现的设置，我们依靠已知的重要抽样程序，以获得遗憾和查询复杂性的界限。我们的算法来与理论保证的统计误差，更重要的是，借给自己的线性时间实现的相关参数的问题。我们讨论这样的实现，证明他们的运行时间保证，并在现实世界的数据集上展示了令人信服的实际性能相比，被动学习和简单的主动学习基线我们的算法的初步实验。
2019-10-12 cs.LG stat.ML
Axiomatic Construction of Hierarchical Clustering in Asymmetric Networks
Stanford University（斯坦福大学）；Ohio State University（俄亥俄州立大学）；University of Pennsylvania（宾夕法尼亚大学）
本文考虑的网络中，节点之间的关系表示的有向相异性。目标是研究确定层次聚类的方法，即，一个家庭的嵌套分区索引的连接参数，诱导给定的相异度结构。我们构造的层次聚类方法是基于定义容许方法是那些遵守价值公理的方法-两个节点的网络中的节点在它们之间的两个相异性的最大值处聚集在一起-和变换-当相异性减少时，网络可能变得更聚而不是更少。构造了几种容许方法，并给出了两种特殊的方法，被称为互惠和非互惠聚类，提供了上界和下界的空间容许的方法。替代聚类方法和公理进一步考虑。允许层次聚类的结果是不对称的，以便它匹配原始数据的不对称性，导致准聚类方法的诞生。一个独特的准聚类方法的存在。允许在两个节点的网络中以两个相异点中的最小值进行聚类，会生成另一种公理化构造。在这种情况下，也有一种独特的聚类方法。本文还开发了算法的计算层次集群使用矩阵的权力上的一个极小极大双曲面代数和研究所提出的方法的稳定性。我们证明了本文中介绍的大多数方法是这样的，相似的网络产生相似的层次聚类结果。算法的例子，通过其应用程序描述美国（美国）各州内的内部迁移网络。以及美国经济各部门之间的相互关系。
2014-09-02 cs.LG cs.SI stat.ML
Exact and Approximate Hierarchical Clustering Using A*
National Institute of Standards and Technology（美国国家标准与技术研究院）；New York University（纽约大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Google Research（谷歌研究院）
层次聚类是许多领域的一项重要任务。许多方法都是基于统计学和性质所产生的聚类事后研究。然而，在一些应用中，有一个自然的成本函数，可以用来表征聚类的质量。在这些情况下，层次聚类可以看作是一个组合优化问题。为此，我们引入了一种基于A* 搜索的新方法。我们克服了过大的搜索空间相结合的A* 与一种新的\emph{trellis}数据结构。这种组合产生了从具有$10^{12}$树的搜索空间扩展到$10^{15}$树的超越现有技术的精确算法，以及改进基线的近似算法，即使在包含多于$10^{1000}$树的巨大搜索空间中也是如此。我们的经验表明，我们的方法实现了比粒子物理用例和其他聚类基准的基线更高质量的结果。我们描述了我们的方法如何提供显着改善的理论界的时间和空间复杂度的A* 聚类。
2021-04-14 cs.DS cs.LG physics.data-an
A neuro-inspired architecture for unsupervised continual learning based on online clustering and hierarchical predictive coding
Georgia Institute of Technology（佐治亚理工学院）
我们提出，持续学习desiderata可以通过神经启发的架构，蒙特卡斯尔的皮质柱假说的基础上实现。所提出的架构涉及一个单一的模块，称为自学联想记忆（STAM），它模拟了皮质柱的功能。STAM在涉及前馈、横向和反馈连接的多级层次结构中重复。STAM网络以无监督的方式学习，基于在线聚类和分层预测编码的组合。这篇简短的论文只介绍了架构及其与神经科学的联系。数学公式和实验结果将在本文的扩展版本。
2018-10-22 cs.AI cs.LG q-bio.NC
