Clustering categorical data via ensembling dissimilarity matrices
我们提出了一种聚类分类数据的技术，通过生成许多相异度矩阵，并在他们的平均。我们首先展示了我们的技术在低维分类数据，并将其与其他几种已提出的技术进行比较。然后，我们给出的条件下，我们的方法应该产生良好的结果一般。我们的方法扩展到高维分类数据的长度相等的解释变量的许多选择集成。在这种情况下，我们比较我们的方法与其他两种方法。最后，我们将我们的方法扩展到高维分类数据向量的长度不等，通过使用对齐技术来均衡的长度。我们给出的例子表明，我们的方法继续提供良好的结果，特别是，更好地在基因组序列的背景下比聚类系统发育树建议。
2015-06-26 stat.ML
An expressive dissimilarity measure for relational clustering using neighbourhood trees
KU Leuven（鲁汶大学）
聚类是一项未被充分指定的任务：对于什么是好的聚类没有通用的标准。对于关系数据尤其如此，其中相似性可以基于个体的特征，它们之间的关系，或两者的混合。现有的关系聚类方法在这方面有很强的，往往是隐含的偏见。在本文中，我们介绍了一种新的关系数据的相似性度量。它是第一个包含各种相似性类型的度量，包括属性的相似性，关系上下文的相似性和超图中的相似性。我们通过实验评估了使用这种相似性如何影响不同类型数据集的聚类质量。实验表明，（a）在标准聚类方法中使用这种相似性始终会得到良好的结果，而其他措施只在与其偏差相匹配的数据集上工作良好;（b）在大多数数据集上，新的相似性甚至优于现有的最佳相似性。
2017-03-07 cs.AI cs.LG stat.ML
Simultaneous Coherent Structure Coloring facilitates interpretable clustering of scientific data by amplifying dissimilarity
Stanford University（斯坦福大学）
将数据聚类为物理上有意义的子集通常需要对子组的数量、大小或形状进行假设。在这里，我们提出了一种新的方法，同时相干结构着色（sCSC），它完成了无监督聚类的任务，没有先验指导的数据的底层结构。sCSC在数据集上执行一系列二进制分割，使得最不相似的数据点需要在单独的聚类中。为了实现这一点，我们获得一组正交坐标，沿该坐标，在数据集中的相异性是最大化的广义特征值问题的基础上成对的数据点之间的相异性进行聚类。这个分叉序列产生了系统的二叉树表示，数据中的簇的数量及其相互关系自然地出现。为了说明在没有先验假设的情况下，该方法的有效性，我们将其应用到流体动力学中的三个示例性问题。然后，我们用一个高维蛋白质折叠模拟数据集来说明它的可解释性。虽然我们在这项工作中将我们的例子限制在动态物理系统中，但我们预计可以直接翻译到其他领域，其中现有的分析工具需要对数据结构进行特别假设，缺乏本方法的可解释性，或者底层过程不太容易访问，例如基因组学和神经科学。
2019-03-13 cs.LG physics.bio-ph physics.flu-dyn
Distance for Functional Data Clustering Based on Smoothing Parameter Commutation
我们提出了一种新的方法来确定主题之间的功能性数据聚类的相异性。样条平滑或插值通常用于处理这类数据。而不是估计的最佳代表曲线为每个主题固定在聚类过程中，我们测量主题之间的差异，根据不同的曲线估计与整流的平滑参数成对（主题）。直觉是，平滑样条的平滑参数反映了逆信噪比，并且应用相同的平滑参数，两个相似主题的平滑曲线预计将接近。我们的建议的有效性，通过模拟比较其他相异的措施。它还有几个实用的优点。首先，由于平滑样条的性质，可以直接处理缺失值或不规则时间点。其次，传统的基于相异度的聚类方法可以直接使用，并且相异度也可以作为离群点检测的有用工具。第三，实现几乎是方便的，因为子程序光滑样条和数值积分是广泛可用的。第四，计算复杂度不增加，与计算光滑样条估计的曲线之间的欧氏距离平行。
2016-04-10 stat.AP stat.ME stat.ML
An Objective for Hierarchical Clustering in Euclidean Space and its Connection to Bisecting K-means
Tepper School of Business, Carnegie Mellon University（卡内基梅隆大学泰珀商学院）
本文探讨了层次聚类的情况下，对点的相异分数（例如距离）作为输入的一部分。最近引入的目标点与相异分数的结果在每棵树是1/2近似，如果距离形成一个度量。这表明目标并没有在度量空间中的好的和差的层次聚类之间做出显着的区分。基于此，本文在欧氏空间中提出了一种新的全局层次聚类目标。目标捕获了促使使用分裂聚类算法的标准：当分裂发生时，同一聚类中的点应该比不同聚类中的点更相似。此外，这一目标给出了合理的结果，地面实况输入层次聚类。本文建立了这个目标和二分k-means算法之间的理论联系。本文证明了最优2-均值解的结果是目标的常数逼近。这是第一篇证明二分k-means算法在整个树上优化自然全局目标的论文。
2020-08-30 cs.LG stat.ML
Data ultrametricity and clusterability
University of Massachusetts Boston（马萨诸塞大学波士顿分校）
对海量数据集进行聚类的需求不断增加，而聚类算法的运行成本很高，这给用户带来了困难。在这种情况下，重要的是要确定一个数据集是否是可聚类的，也就是说，它可以有效地划分为包含类似对象的差异化组。我们从超度量的角度来处理数据聚类。提出了一种新的方法来确定一个数据集的超度量，通过一种特殊类型的矩阵积，它允许我们评估数据集的聚类性。此外，我们表明，通过将我们的技术应用到相异度空间将产生次主导超度量的相异度。
2019-08-28 cs.LG stat.ML
Hierarchical Clustering with Prior Knowledge
Amazon.com Inc.（亚马逊公司）
层次聚类是一类试图建立聚类层次结构的算法。它一直是构建嵌入式分类方案的主要方法，因为它输出树状图，同时捕获各级粒度的成员之间的层次关系。在算法意义上是贪婪的，层次聚类在每一步都仅仅基于相似性/相异性度量来划分数据。聚类结果往往不仅取决于底层数据的分布，而且还取决于相异性度量的选择和聚类算法。本文提出了一种将实体关系的先验领域知识融入到层次聚类中的方法。具体来说，我们使用超度量空间中的距离函数来编码外部本体信息。我们表明，流行的基于链接的算法可以忠实地恢复编码的结构。类似于一些正则化的机器学习技术，我们将此距离作为惩罚项添加到原始的成对距离中，以调节树状图的最终结构。作为一个案例研究，我们应用这种方法对真实数据的客户行为为基础的产品分类亚马逊服务的建设，利用信息从一个更大的亚马逊范围内的浏览结构。当人们想要利用来自外部源的关系信息时，或者用于生成距离矩阵的数据是噪声和稀疏的时，该方法是有用的。我们的工作属于半监督或约束聚类的范畴。
2018-08-25 cs.LG stat.ML
Genie: A new, fast, and outlier-resistant hierarchical clustering algorithm
Systems Research Institute, Polish Academy of Sciences（波兰科学院系统研究所）；Faculty of Mathematics and Information Science, Warsaw University of Technology（华沙理工大学数学与信息科学学院）；Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）
应用层次聚类算法所需的时间通常由成对相异性度量的计算次数决定。对于较大的数据集，这样的约束使除了单一联系标准之外的所有经典联系标准的使用处于不利地位。然而，已知的是，单链接聚类算法对离群值非常敏感，产生高度偏斜的树状图，因此通常不反映真实的底层数据结构--除非聚类被很好地分离。为了克服它的局限性，我们提出了一个新的层次聚类链接标准称为精灵。也就是说，我们的算法以这样一种方式链接两个集群，即选择的经济不公平度量（例如，集群大小的基尼或邦弗朗尼指数）不会急剧增加到给定阈值以上。所提出的基准测试表明，所介绍的方法具有很高的实用性：它往往优于沃德或平均链接的聚类质量，同时保持单一的链接的速度。Genie算法很容易并行化，因此可以在多个线程上运行，以进一步加快其执行速度。它的内存开销很小：不需要预先计算完整的距离矩阵来执行计算以获得期望的聚类。它可以应用于配备有相异性度量的任意空间，例如，该算法的参考实现已包含在R的开源'genie'包中。另请参阅https://genieclust.gagolewski.com以获得新的实现（genieclust）-可用于R和Python。
2022-09-13 cs.LG stat.ML
Hierarchical Qualitative Clustering: clustering mixed datasets with critical qualitative information
INESC TEC；Universidade do Porto（波尔图大学）
聚类可以用来从数据中提取洞察力，或者验证领域专家所持有的一些假设，即数据分割。在文献中，很少有方法可以应用于聚类定性值使用与数据中存在的其他变量相关联的上下文，而不会失去可解释性。此外，用于计算定性值之间的相异度的度量对于高维混合数据集通常缩放性较差。在这项研究中，我们提出了一种新的方法聚类定性值，层次聚类（HQC）的基础上，并使用最大均值离散。HQC保持数据集中定性信息的原始可解释性。我们将HQC应用于两个数据集。使用Spotify提供的混合数据集，我们展示了我们的方法如何用于基于数千首歌曲的定量特征对音乐艺术家进行聚类。此外，利用公司的财务特征，我们聚类公司行业，并讨论了投资组合多元化的含义。
2020-07-06 cs.LG stat.ML
Generalized Clustering by Learning to Optimize Expected Normalized Cuts
Google Brain（谷歌大脑）；Stanford University（斯坦福大学）；Google Research（谷歌研究院）
我们介绍了一种新的端到端的方法来学习集群在没有标记的例子。我们的聚类目标是基于优化规范化的削减，一个标准，衡量集群内的相似性以及集群间的相异性。我们定义了一个可微的损失函数等价于期望的归一化切割。与无监督深度学习中的大部分工作不同，我们的训练模型直接输出最终的聚类分配，而不是需要进一步处理才能使用的嵌入。我们的方法可以推广到各种领域的未知数据集，包括文本和图像。具体来说，我们在流行的无监督聚类基准上实现了最先进的结果（例如，MNIST、路透社、CIFAR-10和CIFAR-100），表现优于最强基线高达10.9%。我们的泛化结果优于（高达21.9%）最近的最高性能的聚类方法，具有泛化能力。
2019-10-16 cs.LG stat.ML
Bayesian Hierarchical Clustering with Exponential Family: Small-Variance Asymptotics and Reducibility
Pohang University of Science and Technology（浦项科技大学）
贝叶斯层次聚类（Bayesian hierarchical clustering，BHC）是一种凝聚聚类方法，它定义了一个概率模型，并评估其边缘似然来决定哪些聚类要合并。虽然BHC提供了一些优势，传统的基于距离的凝聚聚类算法，连续的边缘似然评估和仔细的超参数调整是繁琐的，限制了可扩展性。在本文中，我们放松BHC到一个非概率制定，探索共轭指数模型的小方差渐近。我们开发了一种新的聚类算法，被称为放松BHC（RBHC），从BHC模型的渐近极限，表现出基于距离的凝聚聚类算法的可扩展性，以及贝叶斯非参数模型的灵活性。我们还研究了从BHC模型的渐近极限中出现的相异性度量的减少，使我们能够使用可扩展的算法，如最近邻链算法。在人工数据集和真实数据集上的数值实验证明了该方法的有效性和高性能。
2015-06-03 cs.LG stat.ML
Hierarchical Clustering of Asymmetric Networks
Stanford University（斯坦福大学）；Ohio State University（俄亥俄州立大学）；University of Pennsylvania（宾夕法尼亚大学）
本文考虑的网络中，节点之间的关系表示的有向相异性。目标是研究基于相异度结构输出层次聚类的方法，即，由连接参数索引的嵌套分区族。我们的分层聚类方法的构建是围绕容许方法的概念构建的，容许方法是那些遵守价值公理的方法-具有两个节点的网络中的节点在它们之间的两个相异点中的最大值处聚集在一起-和变换-当相异点减少时，网络可能变得更聚集，但不是更少。两种特定的方法，称为互反聚类和非互反聚类，所示，以提供上界和下界的空间中的容许方法。此外，替代聚类方法和公理被认为是。特别是，修改公理的价值，使集群在两个节点的网络发生在最小的两个相异需要存在一个独特的容许聚类方法。
2016-07-21 cs.LG stat.ML
Latent Geometry Inspired Graph Dissimilarities Enhance Affinity Propagation Community Detection in Complex Networks
Technische Universität Dresden（德累斯顿工业大学）
仿射传播是高维特征空间数据聚类的一种有效的无监督模式识别算法。然而，无数的尝试，以测试其性能的社区发现在复杂的网络中已经取得的结果非常远离国家的最先进的方法，如Infomap和Louvain。然而，所有这些研究都认为，关键问题是将未加权的网络拓扑转换为“足够智能”的节点相异性矩阵，该矩阵能够正确地解决亲和传播聚类背后的消息传递过程。在这里，我们介绍了一个概念上的创新，我们讨论了如何利用网络潜在的几何概念，以设计相似性传播社区发现的相异性矩阵。我们的研究结果表明，潜在的几何启发相异度的措施，我们设计带来的亲和传播等于或优于当前最先进的方法社区发现。考虑到合成的“真实”网络（具有已知的地面真实社区）和真实网络（具有社区元数据），即使数据结构被丢失或虚假连接人为引起的噪声破坏，这些发现也得到了可靠的证明。
2018-08-29 cs.LG cs.SI physics.soc-ph
Coarse-Refinement Dilemma: On Generalization Bounds for Data Clustering
Institute of Mathematical and Computer Sciences, University of São Paulo（圣保罗大学数学与计算机科学学院）
数据聚类（DC）问题对于机器学习（ML）领域至关重要，因为它可以有效地表示来自输入空间的数据结构相似性。从监督机器学习（SML），它依赖于统计学习理论（Statistical Learning Theory）和算法稳定性（Algorithm Stability，AS）的理论框架，DC缺乏关于通用学习保证的文献，影响了这些算法应该如何设计以及其结果的有效性的结论性评论。在这种情况下，本文引入了一个新的概念，基于多维持久同源性，分析的条件下，聚类模型是能够概括的数据。作为第一步，我们提出了一个更一般的定义DC问题，依靠拓扑空间，而不是度量的文献中通常接近。从这一点上，我们表明，DC问题提出了一个类似的困境的偏差方差之一，这是在这里被称为粗细化（CR）困境。CR的目的是澄清之间的对比：（i）高度细化的分区和聚类不稳定性（过拟合）;（ii）过粗分区和缺乏代表性（欠拟合）;因此，CR困境表明需要放松克莱因伯格的丰富性公理。实验结果被用来说明多维持久同源性支持DC模型之间的分歧的测量，导致一致性标准。
2019-11-13 cs.LG stat.ML
A Novel Multi-clustering Method for Hierarchical Clusterings, Based on Boosting
Isfahan University of Technology（伊斯法罕理工大学）
Bagging和Boosting被证明是分类组合问题中构造多分类器的最佳方法。在“平坦聚类”问题的领域中，还认识到基于提升的多聚类方法提供改进质量的聚类。在本文中，我们介绍了一种新的多聚类方法的“层次聚类”的基础上提升理论，它创建一个更稳定的数据集的层次聚类。所提出的算法包括一个提升迭代，其中通过对原始数据集的元素进行加权随机采样来创建样本的自举。然后应用层次聚类算法对选定的子样本建立描述层次结构的树状图。最后，采用分层聚类组合方法将多个树图结果的相异性描述矩阵组合为一致性描述矩阵。在真实流行数据集上的实验表明，与标准的层次聚类方法相比，Boosted方法提供了更高质量的解决方案。
2018-05-29 cs.CV cs.LG stat.ML
Nonparametric Hierarchical Clustering of Functional Data
Orange Labs（奥兰治实验室）；Université Paris 1（巴黎第一大学）
在本文中，我们处理的问题曲线聚类。我们提出了一个非参数的方法，划分成簇的曲线和离散的曲线点的尺寸到区间。这些分区的叉积形成了一个数据网格，该网格是使用贝叶斯模型选择方法获得的，同时不对曲线进行任何假设。最后，提出了一种后处理技术，旨在减少聚类的数量，以提高聚类的可解释性。它包括在最佳合并的集群一步一步，这对应于凝聚的层次分类，其相异性的措施是标准的变化。有趣的是，这个度量不是别的，正是合并前后聚类分布之间的库尔贝克-莱布勒散度之和。功能数据探索性分析的方法的实际利益，并与人工和现实世界的数据集的替代方法进行比较。
2014-07-02 cs.LG stat.ML
Functorial Hierarchical Clustering with Overlaps
Air Force Research Laboratory（空军研究实验室）；University of Pennsylvania（宾夕法尼亚大学）；Texas A&M University（得克萨斯农工大学）
这项工作的灵感来自三个重要来源的研究差异为基础的聚类和交织成一个一致的原则性函理论的聚类这三个线程。这三个是Jardine和Sibson的重叠聚类，Carlsson和Mémoli对基于划分的聚类的泛函方法，以及Isbell/Dress学派对内射包络的研究。Carlsson和Mémoli介绍了将聚类方法视为从度量空间类别到聚类类别的函子的想法，其中函子性包含许多理想的性质。我们的第一个系列的结果扩展了他们的理论的函聚类方案的方法，允许重叠集群的精神渣甸和Sibson。这避免了发生的链接的一些令人不快的影响，例如单链接聚类。我们证明了这些一般的重叠聚类函子和投影的重量空间，我们称之为聚类域之间的等价性，通过专注于由态射确定的顺序结构。作为这一机制的一个具体应用，我们能够证明，没有函子投影切割度量，甚至树度量。最后，虽然我们较少关注来自内射包络的聚类方法（聚类域）的构建，但我们列出了一些初步结果，希望能让人感觉到凳子的第三条腿是如何发挥作用的。
2018-08-14 cs.LG stat.ML
Towards an Axiomatic Approach to Hierarchical Clustering of Measures
Institute for Stochastics and Applications（随机与应用研究所）；University of Stuttgart（斯图加特大学）
我们提出了一些公理的概率测度的层次聚类，并调查其后果。其基本思想是让用户为一些基本的措施规定聚类。这是在不需要任何度量、相似性或不相似性的概念的情况下完成的。然后，我们的主要结果表明，对于每个合适的选择用户定义的聚类的基本措施，我们得到一个独特的概念，满足一组加法和连续性公理的分布在一个大的集合上的聚类。我们说明了发达国家的理论，许多例子，包括一些和一些没有密度。
2015-08-15 cs.LG math.ST stat.ME
Order preserving hierarchical agglomerative clustering
偏序和有向无环图通常是在许多领域和应用中自然出现的循环数据结构，并且用于表示领域中实体之间的有序关系。例如，项目计划中的任务依赖关系、分布式账本中的交易顺序以及计算机程序中的任务执行顺序，仅举几例。研究了这类有序数据的保序层次聚类问题。也就是说，如果我们在原始数据中有$a < b$，并用$[a]$和$[b]$表示它们各自的聚类，那么我们在生成的聚类中将有$[a] < [b]$。聚类是基于相似性的，并使用标准的链接功能，如单一和完整的链接，是经典的层次聚类的扩展。为了实现这一点，我们定义的输出运行经典的层次聚类严格有序的数据是部分树状图，子树的经典树状图与几个连接组件。然后，我们构建了一个嵌入的部分树状图在一个集合到家庭的超度量在同一个集合。一个最佳的层次聚类被定义为部分树状图对应的超度量最接近原来的相异度测量，测量的p-范数。因此，该方法是经典的层次聚类和超度量拟合的组合。一个参考实现的合成随机数据和现实世界的数据库中的机器零件的实验。实验结果表明，与现有的方法相比，该方法在聚类质量和顺序保持方面都有很大的优势。
2021-09-09 cs.LG stat.ML
Clustering of discretely observed diffusion processes
本文提出了一种新的相异度测度来识别资产组的动态特性。其生成过程假设为随机微分方程的扩散过程解，并在离散时间观测。观察的网格不需要收缩到零。作为两个观测路径之间的距离，相应的估计马尔可夫算子的二次距离被认为是。对纽约证券交易所/纳斯达克股票的合成数据和真实金融数据的分析表明，与其他常用指标相反，这种距离似乎能够捕捉到漂移系数和扩散系数的差异。
2008-09-23 math.PR q-fin.ST stat.ME
Hierarchical Clustering with Structural Constraints
Stanford University（斯坦福大学）
层次聚类是一种流行的无监督数据分析方法。对于许多现实世界的应用程序，我们希望利用有关数据的先验信息，这些信息对聚类层次结构施加了约束，并且没有被算法可用的特征集捕获。这就产生了“具有结构约束的层次聚类”问题。结构性约束对平均/单一链接等自下而上的方法构成了重大挑战，尽管它们可以自然地纳入自上而下的分裂算法中，但其输出质量不存在正式保证。在本文中，我们为两个简单的自顶向下算法提供了可证明的近似保证，使用最近引入的具有成对相似性信息的层次聚类的优化观点[Dasgupta，2016]。我们展示了如何找到好的解决方案，即使在存在冲突的先验信息，通过制定一个基于约束的正则化的目标。我们进一步探索了该目标的变体，用于相异信息[Cohen-Addad等人，#20182;改进现有技术。最后，我们展示了我们的方法在一个真正的数据集的分类应用程序。
2018-07-14 cs.AI cs.DS cs.LG
ClustGeo: an R package for hierarchical clustering with spatial constraints
在本文中，我们提出了一个类似Ward的层次聚类算法，包括空间/地理约束。输入两个相异性矩阵$D_0$和$D_1$以及混合参数$α\in [0,1]$。相异度可以是非欧几里德的，并且观测值的权重可以是非均匀的。第一个矩阵给出了“特征空间”中的相异性，第二个矩阵给出了“约束空间”中的相异性。在每个阶段最小化的标准是用$D_0$计算的均匀性标准和用$D_1$计算的均匀性标准的凸组合。然后，想法是确定$α$的值，该值基于感兴趣的变量（即，特征空间的变量）增加空间邻接性而不会使解的质量劣化太多。使用R包ClustGeo在真实数据集上演示了此过程。
2017-12-13 stat.CO stat.ML
Fusion of heterogeneous bands and kernels in hyperspectral image processing
University of Missouri（密苏里大学）；Mississippi State University（密西西比州立大学）
高光谱成像是一种强大的技术，但受到大维度的困扰。在这里，我们探索了一种方法来打击这种障碍，通过非连续和连续（更简单地实现传感器）频带分组降维。我们的方法是不同的，在这方面，它是灵活的，它遵循一个良好的研究过程中的视觉聚类在高维空间。具体来说，我们扩展了改进的视觉评估的聚类趋势和聚类有序相异度数据的无监督聚类算法的监督高光谱学习。此外，我们提出了一种方法来提取不同的功能，通过使用不同的接近度量（方法来衡量波段之间的相似性）和核函数。发现的功能与$l_{\infty}$范数多核学习融合。在两个基准数据集上进行了实验，并将我们的结果与相关工作进行了比较。这些数据集表明，连续与否是特定于应用程序的，但异构的功能和内核通常会导致性能提升。
2019-05-22 cs.LG eess.IV stat.ML
Hierarchical Clustering for Smart Meter Electricity Loads based on Quantile Autocovariances
为了提高电力系统的效率和可持续性，世界上大多数国家都在住宅部门部署先进的计量基础设施，特别是家用智能电表。该技术能够以非常高的频率记录电力负荷时间序列，可以利用这些信息来开发新的聚类模型，以按照类似的消费模式对各个家庭进行分组。为此，在这项工作中，我们提出了三个层次聚类方法，允许捕捉不同的特性的时间序列。这些都是基于一组“相异性”的措施计算不同的功能：分位数自协方差，简单和偏自相关。主要优点是，它们允许在几个代表性特征中总结每个时间序列，使得它们在计算上是高效的，对离群值是鲁棒的，易于自动化，并且可扩展到数十万个智能电表系列。我们评估了每个聚类模型在现实世界的智能电表数据集与数千个半小时的时间序列的性能。结果表明，所获得的聚类如何识别相关的消费行为的家庭和捕获他们的地理人口细分的一部分。此外，我们应用监督分类程序来探索哪些特征与定义每个聚类更相关。
2019-11-08 stat.AP stat.ML stat.OT
