Clustering categorical data via ensembling dissimilarity matrices
我们提出了一种聚类分类数据的技术,通过生成许多相异度矩阵,并在他们的平均。我们首先展示了我们的技术在低维分类数据,并将其与其他几种已提出的技术进行比较。然后,我们给出的条件下,我们的方法应该产生良好的结果一般。我们的方法扩展到高维分类数据的长度相等的解释变量的许多选择集成。在这种情况下,我们比较我们的方法与其他两种方法。最后,我们将我们的方法扩展到高维分类数据向量的长度不等,通过使用对齐技术来均衡的长度。我们给出的例子表明,我们的方法继续提供良好的结果,特别是,更好地在基因组序列的背景下比聚类系统发育树建议。
2015-06-26 stat.ML
An expressive dissimilarity measure for relational clustering using neighbourhood trees
KU Leuven(鲁汶大学)
聚类是一项未被充分指定的任务:对于什么是好的聚类没有通用的标准。对于关系数据尤其如此,其中相似性可以基于个体的特征,它们之间的关系,或两者的混合。现有的关系聚类方法在这方面有很强的,往往是隐含的偏见。在本文中,我们介绍了一种新的关系数据的相似性度量。它是第一个包含各种相似性类型的度量,包括属性的相似性,关系上下文的相似性和超图中的相似性。我们通过实验评估了使用这种相似性如何影响不同类型数据集的聚类质量。实验表明,(a)在标准聚类方法中使用这种相似性始终会得到良好的结果,而其他措施只在与其偏差相匹配的数据集上工作良好;(b)在大多数数据集上,新的相似性甚至优于现有的最佳相似性。
2017-03-07 cs.AI cs.LG stat.ML
Simultaneous Coherent Structure Coloring facilitates interpretable clustering of scientific data by amplifying dissimilarity
Stanford University(斯坦福大学)
将数据聚类为物理上有意义的子集通常需要对子组的数量、大小或形状进行假设。在这里,我们提出了一种新的方法,同时相干结构着色(sCSC),它完成了无监督聚类的任务,没有先验指导的数据的底层结构。sCSC在数据集上执行一系列二进制分割,使得最不相似的数据点需要在单独的聚类中。为了实现这一点,我们获得一组正交坐标,沿该坐标,在数据集中的相异性是最大化的广义特征值问题的基础上成对的数据点之间的相异性进行聚类。这个分叉序列产生了系统的二叉树表示,数据中的簇的数量及其相互关系自然地出现。为了说明在没有先验假设的情况下,该方法的有效性,我们将其应用到流体动力学中的三个示例性问题。然后,我们用一个高维蛋白质折叠模拟数据集来说明它的可解释性。虽然我们在这项工作中将我们的例子限制在动态物理系统中,但我们预计可以直接翻译到其他领域,其中现有的分析工具需要对数据结构进行特别假设,缺乏本方法的可解释性,或者底层过程不太容易访问,例如基因组学和神经科学。
2019-03-13 cs.LG physics.bio-ph physics.flu-dyn
Distance for Functional Data Clustering Based on Smoothing Parameter Commutation
我们提出了一种新的方法来确定主题之间的功能性数据聚类的相异性。样条平滑或插值通常用于处理这类数据。而不是估计的最佳代表曲线为每个主题固定在聚类过程中,我们测量主题之间的差异,根据不同的曲线估计与整流的平滑参数成对(主题)。直觉是,平滑样条的平滑参数反映了逆信噪比,并且应用相同的平滑参数,两个相似主题的平滑曲线预计将接近。我们的建议的有效性,通过模拟比较其他相异的措施。它还有几个实用的优点。首先,由于平滑样条的性质,可以直接处理缺失值或不规则时间点。其次,传统的基于相异度的聚类方法可以直接使用,并且相异度也可以作为离群点检测的有用工具。第三,实现几乎是方便的,因为子程序光滑样条和数值积分是广泛可用的。第四,计算复杂度不增加,与计算光滑样条估计的曲线之间的欧氏距离平行。
2016-04-10 stat.AP stat.ME stat.ML
An Objective for Hierarchical Clustering in Euclidean Space and its Connection to Bisecting K-means
Tepper School of Business, Carnegie Mellon University(卡内基梅隆大学泰珀商学院)
本文探讨了层次聚类的情况下,对点的相异分数(例如距离)作为输入的一部分。最近引入的目标点与相异分数的结果在每棵树是1/2近似,如果距离形成一个度量。这表明目标并没有在度量空间中的好的和差的层次聚类之间做出显着的区分。基于此,本文在欧氏空间中提出了一种新的全局层次聚类目标。目标捕获了促使使用分裂聚类算法的标准:当分裂发生时,同一聚类中的点应该比不同聚类中的点更相似。此外,这一目标给出了合理的结果,地面实况输入层次聚类。本文建立了这个目标和二分k-means算法之间的理论联系。本文证明了最优2-均值解的结果是目标的常数逼近。这是第一篇证明二分k-means算法在整个树上优化自然全局目标的论文。
2020-08-30 cs.LG stat.ML
Data ultrametricity and clusterability
University of Massachusetts Boston(马萨诸塞大学波士顿分校)
对海量数据集进行聚类的需求不断增加,而聚类算法的运行成本很高,这给用户带来了困难。在这种情况下,重要的是要确定一个数据集是否是可聚类的,也就是说,它可以有效地划分为包含类似对象的差异化组。我们从超度量的角度来处理数据聚类。提出了一种新的方法来确定一个数据集的超度量,通过一种特殊类型的矩阵积,它允许我们评估数据集的聚类性。此外,我们表明,通过将我们的技术应用到相异度空间将产生次主导超度量的相异度。
2019-08-28 cs.LG stat.ML
Hierarchical Clustering with Prior Knowledge
Amazon.com Inc.(亚马逊公司)
层次聚类是一类试图建立聚类层次结构的算法。它一直是构建嵌入式分类方案的主要方法,因为它输出树状图,同时捕获各级粒度的成员之间的层次关系。在算法意义上是贪婪的,层次聚类在每一步都仅仅基于相似性/相异性度量来划分数据。聚类结果往往不仅取决于底层数据的分布,而且还取决于相异性度量的选择和聚类算法。本文提出了一种将实体关系的先验领域知识融入到层次聚类中的方法。具体来说,我们使用超度量空间中的距离函数来编码外部本体信息。我们表明,流行的基于链接的算法可以忠实地恢复编码的结构。类似于一些正则化的机器学习技术,我们将此距离作为惩罚项添加到原始的成对距离中,以调节树状图的最终结构。作为一个案例研究,我们应用这种方法对真实数据的客户行为为基础的产品分类亚马逊服务的建设,利用信息从一个更大的亚马逊范围内的浏览结构。当人们想要利用来自外部源的关系信息时,或者用于生成距离矩阵的数据是噪声和稀疏的时,该方法是有用的。我们的工作属于半监督或约束聚类的范畴。
2018-08-25 cs.LG stat.ML
Genie: A new, fast, and outlier-resistant hierarchical clustering algorithm
Systems Research Institute, Polish Academy of Sciences(波兰科学院系统研究所);Faculty of Mathematics and Information Science, Warsaw University of Technology(华沙理工大学数学与信息科学学院);Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
应用层次聚类算法所需的时间通常由成对相异性度量的计算次数决定。对于较大的数据集,这样的约束使除了单一联系标准之外的所有经典联系标准的使用处于不利地位。然而,已知的是,单链接聚类算法对离群值非常敏感,产生高度偏斜的树状图,因此通常不反映真实的底层数据结构--除非聚类被很好地分离。为了克服它的局限性,我们提出了一个新的层次聚类链接标准称为精灵。也就是说,我们的算法以这样一种方式链接两个集群,即选择的经济不公平度量(例如,集群大小的基尼或邦弗朗尼指数)不会急剧增加到给定阈值以上。所提出的基准测试表明,所介绍的方法具有很高的实用性:它往往优于沃德或平均链接的聚类质量,同时保持单一的链接的速度。Genie算法很容易并行化,因此可以在多个线程上运行,以进一步加快其执行速度。它的内存开销很小:不需要预先计算完整的距离矩阵来执行计算以获得期望的聚类。它可以应用于配备有相异性度量的任意空间,例如,该算法的参考实现已包含在R的开源'genie'包中。另请参阅https://genieclust.gagolewski.com以获得新的实现(genieclust)-可用于R和Python。
2022-09-13 cs.LG stat.ML
Cluster Analysis on Locally Asymptotically Self-similar Processes with Known Number of Clusters
Claremont Graduate University(克莱蒙特研究生大学)
本文对一类局部渐近自相似随机过程进行聚类分析,其中多重分数布朗运动就是其中的代表。在已知真实聚类数的情况下,引入了一种新的基于协方差的相异性测度,并由此得到了近似渐近相容的聚类算法。在模拟研究中,聚类数据采样从多分数布朗运动与不同的功能赫斯特参数说明了所提出的算法的近似渐近一致性。聚集全球金融市场的股票指数回报和主权CDS利差提供了一个成功的现实世界的应用。
2020-01-14 cs.LG stat.ML
Hierarchical Qualitative Clustering: clustering mixed datasets with critical qualitative information
INESC TEC;Universidade do Porto(波尔图大学)
聚类可以用来从数据中提取洞察力,或者验证领域专家所持有的一些假设,即数据分割。在文献中,很少有方法可以应用于聚类定性值使用与数据中存在的其他变量相关联的上下文,而不会失去可解释性。此外,用于计算定性值之间的相异度的度量对于高维混合数据集通常缩放性较差。在这项研究中,我们提出了一种新的方法聚类定性值,层次聚类(HQC)的基础上,并使用最大均值离散。HQC保持数据集中定性信息的原始可解释性。我们将HQC应用于两个数据集。使用Spotify提供的混合数据集,我们展示了我们的方法如何用于基于数千首歌曲的定量特征对音乐艺术家进行聚类。此外,利用公司的财务特征,我们聚类公司行业,并讨论了投资组合多元化的含义。
2020-07-06 cs.LG stat.ML
Generalized Clustering by Learning to Optimize Expected Normalized Cuts
Google Brain(谷歌大脑);Stanford University(斯坦福大学);Google Research(谷歌研究院)
我们介绍了一种新的端到端的方法来学习集群在没有标记的例子。我们的聚类目标是基于优化规范化的削减,一个标准,衡量集群内的相似性以及集群间的相异性。我们定义了一个可微的损失函数等价于期望的归一化切割。与无监督深度学习中的大部分工作不同,我们的训练模型直接输出最终的聚类分配,而不是需要进一步处理才能使用的嵌入。我们的方法可以推广到各种领域的未知数据集,包括文本和图像。具体来说,我们在流行的无监督聚类基准上实现了最先进的结果(例如,MNIST、路透社、CIFAR-10和CIFAR-100),表现优于最强基线高达10.9%。我们的泛化结果优于(高达21.9%)最近的最高性能的聚类方法,具有泛化能力。
2019-10-16 cs.LG stat.ML
Bayesian Hierarchical Clustering with Exponential Family: Small-Variance Asymptotics and Reducibility
Pohang University of Science and Technology(浦项科技大学)
贝叶斯层次聚类(Bayesian hierarchical clustering,BHC)是一种凝聚聚类方法,它定义了一个概率模型,并评估其边缘似然来决定哪些聚类要合并。虽然BHC提供了一些优势,传统的基于距离的凝聚聚类算法,连续的边缘似然评估和仔细的超参数调整是繁琐的,限制了可扩展性。在本文中,我们放松BHC到一个非概率制定,探索共轭指数模型的小方差渐近。我们开发了一种新的聚类算法,被称为放松BHC(RBHC),从BHC模型的渐近极限,表现出基于距离的凝聚聚类算法的可扩展性,以及贝叶斯非参数模型的灵活性。我们还研究了从BHC模型的渐近极限中出现的相异性度量的减少,使我们能够使用可扩展的算法,如最近邻链算法。在人工数据集和真实数据集上的数值实验证明了该方法的有效性和高性能。
2015-06-03 cs.LG stat.ML
Hierarchical Clustering of Asymmetric Networks
Stanford University(斯坦福大学);Ohio State University(俄亥俄州立大学);University of Pennsylvania(宾夕法尼亚大学)
本文考虑的网络中,节点之间的关系表示的有向相异性。目标是研究基于相异度结构输出层次聚类的方法,即,由连接参数索引的嵌套分区族。我们的分层聚类方法的构建是围绕容许方法的概念构建的,容许方法是那些遵守价值公理的方法-具有两个节点的网络中的节点在它们之间的两个相异点中的最大值处聚集在一起-和变换-当相异点减少时,网络可能变得更聚集,但不是更少。两种特定的方法,称为互反聚类和非互反聚类,所示,以提供上界和下界的空间中的容许方法。此外,替代聚类方法和公理被认为是。特别是,修改公理的价值,使集群在两个节点的网络发生在最小的两个相异需要存在一个独特的容许聚类方法。
2016-07-21 cs.LG stat.ML
Latent Geometry Inspired Graph Dissimilarities Enhance Affinity Propagation Community Detection in Complex Networks
Technische Universität Dresden(德累斯顿工业大学)
仿射传播是高维特征空间数据聚类的一种有效的无监督模式识别算法。然而,无数的尝试,以测试其性能的社区发现在复杂的网络中已经取得的结果非常远离国家的最先进的方法,如Infomap和Louvain。然而,所有这些研究都认为,关键问题是将未加权的网络拓扑转换为“足够智能”的节点相异性矩阵,该矩阵能够正确地解决亲和传播聚类背后的消息传递过程。在这里,我们介绍了一个概念上的创新,我们讨论了如何利用网络潜在的几何概念,以设计相似性传播社区发现的相异性矩阵。我们的研究结果表明,潜在的几何启发相异度的措施,我们设计带来的亲和传播等于或优于当前最先进的方法社区发现。考虑到合成的“真实”网络(具有已知的地面真实社区)和真实网络(具有社区元数据),即使数据结构被丢失或虚假连接人为引起的噪声破坏,这些发现也得到了可靠的证明。
2018-08-29 cs.LG cs.SI physics.soc-ph
Clustering Binary Data by Application of Combinatorial Optimization Heuristics
University of Costa Rica(哥斯达黎加大学);Costa Rica Institute of Technology(哥斯达黎加理工学院)
我们研究二进制数据的聚类方法,首先定义聚集标准,衡量集群的紧凑性。介绍了五种新颖的基于邻域和群体行为的组合优化方法:模拟退火、阈值接受和禁忌搜索,遗传算法和蚁群算法。实施的方法,执行适当的校准参数的情况下,化学,以确保良好的结果。从一组由准蒙特卡罗实验生成的16个数据表中,使用L1相异度,分层聚类和一个版本的k均值:围绕中心点或PAM分区,对其中一个聚合进行比较。模拟退火的性能非常好,特别是与经典方法相比。
2020-01-06 cs.LG stat.ML
A Novel Multi-clustering Method for Hierarchical Clusterings, Based on Boosting
Isfahan University of Technology(伊斯法罕理工大学)
Bagging和Boosting被证明是分类组合问题中构造多分类器的最佳方法。在“平坦聚类”问题的领域中,还认识到基于提升的多聚类方法提供改进质量的聚类。在本文中,我们介绍了一种新的多聚类方法的“层次聚类”的基础上提升理论,它创建一个更稳定的数据集的层次聚类。所提出的算法包括一个提升迭代,其中通过对原始数据集的元素进行加权随机采样来创建样本的自举。然后应用层次聚类算法对选定的子样本建立描述层次结构的树状图。最后,采用分层聚类组合方法将多个树图结果的相异性描述矩阵组合为一致性描述矩阵。在真实流行数据集上的实验表明,与标准的层次聚类方法相比,Boosted方法提供了更高质量的解决方案。
2018-05-29 cs.CV cs.LG stat.ML
Nonparametric Hierarchical Clustering of Functional Data
Orange Labs(奥兰治实验室);Université Paris 1(巴黎第一大学)
在本文中,我们处理的问题曲线聚类。我们提出了一个非参数的方法,划分成簇的曲线和离散的曲线点的尺寸到区间。这些分区的叉积形成了一个数据网格,该网格是使用贝叶斯模型选择方法获得的,同时不对曲线进行任何假设。最后,提出了一种后处理技术,旨在减少聚类的数量,以提高聚类的可解释性。它包括在最佳合并的集群一步一步,这对应于凝聚的层次分类,其相异性的措施是标准的变化。有趣的是,这个度量不是别的,正是合并前后聚类分布之间的库尔贝克-莱布勒散度之和。功能数据探索性分析的方法的实际利益,并与人工和现实世界的数据集的替代方法进行比较。
2014-07-02 cs.LG stat.ML
Hybridized Threshold Clustering for Massive Data
Kansas State University(堪萨斯州立大学);University of California, Berkeley(加州大学伯克利分校)
随着数据集的大小$n$变得巨大,许多常用的聚类算法(例如,$k$均值或层次凝聚聚类(HAC))需要过高的计算成本和存储器。在本文中,我们提出了一个解决这些聚类问题的阈值聚类(TC)的实例选择问题。TC是最近发展起来的一种聚类算法,它可以在线性时间内(平均)将数据划分为许多小的簇。我们提出的聚类方法如下。首先,执行TC,并将聚类简化为单个“原型”点。然后,TC反复应用于这些原型点,直到获得足够的数据减少。最后,将更复杂的聚类算法应用于减少的原型点,从而获得对所有$n$数据点的聚类。这整个聚类过程称为迭代杂交阈值聚类(IHTC)。通过模拟结果和应用我们的方法在几个真实的数据集上,我们表明,IHTC结合$k$ -手段或HAC大大减少了运行时间和内存使用的原始聚类算法,同时仍然保持其性能。此外,IHTC有助于防止奇异数据点被聚类算法过度拟合。
2019-07-05 cs.LG stat.ML
A Short Survey on Data Clustering Algorithms
City University of Hong Kong(香港城市大学)
随着数据的快速增长,聚类算法是现代研究中数据分析的重要工具。它们已经成功地应用于广泛的领域;例如,生物信息学、语音识别和金融分析。从形式上讲,给定一组数据实例,聚类算法预期将数据实例集划分为最大化子集内相似性和子集间相异性的子集,其中预先定义相似性度量。在这项工作中,国家的最先进的聚类算法从设计概念到方法进行了审查,不同的聚类范式进行了讨论。先进的聚类算法进行了讨论。在此基础上,对现有的聚类评价指标进行了综述。最后提供了一个总结和未来的见解。
2015-11-25 cs.CV cs.DS cs.LG
A General Hybrid Clustering Technique
University of Nebraska-Lincoln(内布拉斯加大学林肯分校);GraphLab Inc.(GraphLab公司)
在这里,我们提出了一个聚类技术一般的聚类问题,包括那些有非凸集群。对于给定的所需数量的聚类$K$,我们使用三个阶段来找到聚类。第一阶段使用混合聚类技术来产生一系列不同大小的聚类(随机选择)。其关键步骤是使用$K_\ell$聚类方法找到一个$K$均值聚类,其中$K_\ell \gg K$,然后使用单连接聚类方法将这些小聚类合并。第二阶段通过在汉明距离下通过“隶属矩阵”重新聚类以生成树状图来稳定第一阶段的结果。第三阶段是切割树状图以得到$K^*$聚类,其中$K^* \geq K$然后修剪回$K$以给出最终聚类。我们的技术的一个变体也给出了一个合理的估计$K_T$,簇的真实数量。我们提供了一系列的参数来证明我们的方法的阶段中的步骤,我们提供了许多涉及真实和模拟数据的例子来比较我们的技术与其他相关技术。
2015-03-05 cs.LG stat.ML
Hybrid Fuzzy-Crisp Clustering Algorithm: Theory and Experiments
University Brunei Darussalam(文莱达鲁萨兰大学)
传统的模糊c-均值聚类方法由于隶属度函数严格为正,当聚类规模相差很大时,有时会产生不平衡的影响。也就是说,一个非常大的星系团会把所有其他星系团拖到它的中心,不管它们相距多远。为了解决这个问题,我们提出了一种混合模糊-清晰聚类算法的目标函数的基础上结合线性和二次项的隶属函数。在该算法中,如果数据点距离聚类中心“非常远”,则该数据点对聚类的成员资格自动设置为零。在本文中,我们提出了一种新的算法混合模糊清晰聚类及其几何解释。该算法进行了测试20模拟数据生成和五个真实世界的数据集从UCI存储库,并与传统的模糊和清晰的聚类方法进行比较。该算法在不平衡数据集上的性能优于传统方法,在更平衡的数据集上具有竞争力。
2023-03-25 cs.LG stat.ML
Functorial Hierarchical Clustering with Overlaps
Air Force Research Laboratory(空军研究实验室);University of Pennsylvania(宾夕法尼亚大学);Texas A&M University(得克萨斯农工大学)
这项工作的灵感来自三个重要来源的研究差异为基础的聚类和交织成一个一致的原则性函理论的聚类这三个线程。这三个是Jardine和Sibson的重叠聚类,Carlsson和Mémoli对基于划分的聚类的泛函方法,以及Isbell/Dress学派对内射包络的研究。Carlsson和Mémoli介绍了将聚类方法视为从度量空间类别到聚类类别的函子的想法,其中函子性包含许多理想的性质。我们的第一个系列的结果扩展了他们的理论的函聚类方案的方法,允许重叠集群的精神渣甸和Sibson。这避免了发生的链接的一些令人不快的影响,例如单链接聚类。我们证明了这些一般的重叠聚类函子和投影的重量空间,我们称之为聚类域之间的等价性,通过专注于由态射确定的顺序结构。作为这一机制的一个具体应用,我们能够证明,没有函子投影切割度量,甚至树度量。最后,虽然我们较少关注来自内射包络的聚类方法(聚类域)的构建,但我们列出了一些初步结果,希望能让人感觉到凳子的第三条腿是如何发挥作用的。
2018-08-14 cs.LG stat.ML
Hybrid Clustering based on Content and Connection Structure using Joint Nonnegative Matrix Factorization
Georgia Institute of Technology(佐治亚理工学院);Georgia Tech Research Institute(佐治亚理工研究所)
提出了一种基于约束低秩近似的混合方法,用于同时包含文本内容和连接结构的数据集上的潜在信息发现。新方法联合优化了文本聚类的非负矩阵分解(NMF)目标函数和图聚类的对称NMF(SymNMF)目标函数。我们提出了一个有效的算法的联合NMF目标函数,基于块坐标下降(BCD)框架。所提出的混合方法通过使用SymNMF发现的潜在连接来发现内容关联。当使用超图公式或内容与超图边缘相关联时,该方法也可以应用于问题的自然转换。实验结果表明,通过同时利用内容和连接结构,我们的混合方法产生更高质量的聚类结果相比,其他NMF聚类方法,单独使用内容(标准NMF)或连接结构(SymNMF)。我们还提出了一些有趣的应用程序,以几种类型的现实世界的数据,如论文的引用建议。本文提出的混合方法也适用于一般的数据表示的特征空间向量和两两相似性,并可以扩展到多个特征空间或多个相似性措施的情况。
2017-03-28 cs.LG stat.ML
Towards an Axiomatic Approach to Hierarchical Clustering of Measures
Institute for Stochastics and Applications(随机与应用研究所);University of Stuttgart(斯图加特大学)
我们提出了一些公理的概率测度的层次聚类,并调查其后果。其基本思想是让用户为一些基本的措施规定聚类。这是在不需要任何度量、相似性或不相似性的概念的情况下完成的。然后,我们的主要结果表明,对于每个合适的选择用户定义的聚类的基本措施,我们得到一个独特的概念,满足一组加法和连续性公理的分布在一个大的集合上的聚类。我们说明了发达国家的理论,许多例子,包括一些和一些没有密度。
2015-08-15 cs.LG math.ST stat.ME
Order preserving hierarchical agglomerative clustering
偏序和有向无环图通常是在许多领域和应用中自然出现的循环数据结构,并且用于表示领域中实体之间的有序关系。例如,项目计划中的任务依赖关系、分布式账本中的交易顺序以及计算机程序中的任务执行顺序,仅举几例。研究了这类有序数据的保序层次聚类问题。也就是说,如果我们在原始数据中有$a < b$,并用$[a]$和$[b]$表示它们各自的聚类,那么我们在生成的聚类中将有$[a] < [b]$。聚类是基于相似性的,并使用标准的链接功能,如单一和完整的链接,是经典的层次聚类的扩展。为了实现这一点,我们定义的输出运行经典的层次聚类严格有序的数据是部分树状图,子树的经典树状图与几个连接组件。然后,我们构建了一个嵌入的部分树状图在一个集合到家庭的超度量在同一个集合。一个最佳的层次聚类被定义为部分树状图对应的超度量最接近原来的相异度测量,测量的p-范数。因此,该方法是经典的层次聚类和超度量拟合的组合。一个参考实现的合成随机数据和现实世界的数据库中的机器零件的实验。实验结果表明,与现有的方法相比,该方法在聚类质量和顺序保持方面都有很大的优势。
2021-09-09 cs.LG stat.ML
ConiVAT: Cluster Tendency Assessment and Clustering with Partial Background Knowledge
Massachusetts Institute of Technology(麻省理工学院);Institute of Informatics and Telematics of CNR(意大利国家研究委员会信息与电信研究所);The University of Melbourne(墨尔本大学)
VAT方法是一种用于确定数值数据中潜在聚类结构和可能聚类数的可视化技术。它的改进版本iVAT使用基于路径的距离变换来提高VAT在“棘手”情况下的有效性。VAT和iVAT也都与单链接(SL)层次聚类算法结合使用。然而,它们对数据集中的聚类之间的噪声和桥接点敏感,因此,相应的VAT/iVAT图像对于这种情况通常是不确定的。在本文中,我们提出了一个基于约束的版本的iVAT,我们称之为ConiVAT,它利用背景知识的形式的约束,以提高增值税/iVAT具有挑战性和复杂的数据集。ConiVAT使用输入约束来学习底层的相似性度量,并建立一个最小的传递相异性矩阵,然后将VAT应用到它。我们展示了ConiVAT方法的视觉评估和9个数据集上的单链接聚类,以表明,它提高了复杂数据集的iVAT图像的质量,它也克服了SL聚类与VAT/iVAT由于“嘈杂”的桥梁之间的集群的限制。在9个数据集上的实验结果表明,ConiVAT算法在提高聚类精度方面优于其他3种半监督聚类算法.
2020-09-28 cs.LG stat.ML
CRAD: Clustering with Robust Autocuts and Depth
我们开发了一种新的基于密度的聚类算法CRAD,它是基于一个新的邻居搜索功能与强大的数据深度作为相异性度量。实验结果表明,新的CRAD算法在检测不同密度的簇时,与现有的算法如DBSCAN、OPTICS和DBCA相比,具有很强的竞争力。此外,一个新的有效的参数选择过程中,选择最佳的底层参数在现实世界的聚类,当地面真理是未知的。最后,我们提出了一个新的聚类框架,扩展CRAD从空间数据聚类到时间序列聚类,而无需先验知识的真正数量的集群。通过大量的实验研究,CRAD的性能进行了评估。
2019-04-08 stat.CO stat.ML
Unsupervised Multi-view Clustering by Squeezing Hybrid Knowledge from Cross View and Each View
多视图聚类方法由于其在聚类性能上的优越性,近年来成为研究的热点。然而,典型的传统多视图聚类算法在冗余信息的去除、多视图的利用以及多视图特征的融合等方面仍存在不足。针对这些问题,本文提出了一种新的多视图聚类方法--基于自适应图正则化的低秩子空间多视图聚类。我们将两个新的数据矩阵分解模型构造成一个统一的优化模型。在这个框架中,我们提出了新的低秩和稀疏约束的稀疏子空间矩阵的交叉视图和每个视图的独特知识共享的共同知识的意义。为了确保我们在原始数据矩阵上实现有效的稀疏表示和聚类性能,自适应图正则化和无监督聚类约束也被引入到所提出的模型中,以保留数据的内部结构特征。最后,该方法与几个国家的最先进的算法进行了比较。五个广泛使用的多视图基准的实验结果表明,我们提出的算法优于其他国家的最先进的方法,由一个明确的保证金。
2020-08-23 cs.LG stat.ML
CLARITY -- Comparing heterogeneous data using dissimiLARITY
整合来自不同学科的数据集是很困难的,因为这些数据在意义、规模和可靠性上往往是不同的。当两个数据集描述相同的实体时,许多科学问题都可以围绕实体之间的(不)相似性是否在这些不同的数据中保持不变。我们的方法,quality,量化数据集之间的一致性,识别哪里出现不一致,并帮助他们的解释。我们使用三种不同的比较来说明这一点:基因甲基化与表达,语言声音与词汇使用的演变,以及国家层面的经济指标与文化信仰。非参数方法对噪声和缩放差异具有鲁棒性,并且仅对数据如何生成做出弱假设。它通过将相似性分解为两个组成部分来运作:一个类似于聚类的“结构”组成部分,以及这些结构之间的潜在“关系”。这使得可以利用“结构”的可预测性,在两个相似性矩阵之间进行“结构比较”。在适合每个数据集的重新采样的帮助下评估显著性。该软件名为“Rightity”,可从https://github.com/danjlawson/CLARITY获得R软件包。
2021-12-02 stat.ME stat.ML
Improved Learning via k-DTW: A Novel Dissimilarity Measure for Curves
TU Dortmund(杜伊斯堡-艾森大学);University of Cologne(科隆大学);Université Côte d’Azur(蔚蓝海岸大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化技术研究所);Aarhus University(阿arhus大学)
本文提出用于多边形曲线的新颖相异度度量 $k$-DTW,证明其比 DTW 和 Fréchet distance 具有更强度量性质与抗异常值能力,给出精确与近似算法,首次证明曲线的与维度无关学习界限,并实验验证其在聚类与最近邻分类中的优势。
2025-05-29 cs.CG cs.DS cs.LG
Applications of Machine Learning in Pharmacogenomics: Clustering Plasma Concentration-Time Curves
本研究探索药代动力学(PK)曲线的无监督聚类方法,对比多种时间序列不相似性度量,发现欧氏距离最适用,且基于欧氏距离的聚类无需遗传信息即可验证既往药物基因组学结论,还能挖掘群体统计难以发现的规律。
2023-09-04 stat.AP stat.ML
Clustering of discretely observed diffusion processes
本文提出了一种新的相异度测度来识别资产组的动态特性。其生成过程假设为随机微分方程的扩散过程解,并在离散时间观测。观察的网格不需要收缩到零。作为两个观测路径之间的距离,相应的估计马尔可夫算子的二次距离被认为是。对纽约证券交易所/纳斯达克股票的合成数据和真实金融数据的分析表明,与其他常用指标相反,这种距离似乎能够捕捉到漂移系数和扩散系数的差异。
2008-09-23 math.PR q-fin.ST stat.ME
Deep Mixtures of Unigrams for uncovering Topics in Textual Data
University of Bologna(博洛尼亚大学)
Unigrams的混合是聚类文本数据的最简单和最有效的工具之一,因为它们假设与同一主题相关的文档具有相似的术语分布,自然由Multinomials描述。当分类任务特别具有挑战性时,例如当文档-术语矩阵是高维且极其稀疏时,更复合的表示可以提供对分组结构的更好的洞察。在这项工作中,我们开发了一个深度版本的Unigrams混合物,用于对具有大量术语的非常短的文档进行无监督分类,允许模型具有更深的潜在层;该提案是在贝叶斯框架中得出的。根据经验将Unigrams的深度混合的行为与其他传统的和最先进的方法的行为进行比较,即$k$ -具有余弦距离的平均值,$k$ -具有根据语义分析转换的数据的欧几里得距离的平均值,围绕中心点的分区,基于语义的转换数据的高斯混合,根据具有余弦相异度的Ward方法的分层聚类,潜在Dirichlet分配,通过期望最大化算法、谱聚类和亲和传播聚类估计的Unigrams的混合。性能的评价方面的正确分类率和调整后的兰德指数。仿真研究和实际数据分析证明,对此类数据进行深入聚类,可以大大提高分类精度。
2020-12-09 cs.LG stat.ML
Hybrid clustering-classification neural network in the medical diagnostics of reactive arthritis
Kharkiv National University of Radio Electronics(哈尔科夫国立无线电电子大学);Kharkiv Medical Academia of Post-Graduate Education(哈尔科夫医学研究生教育学院);Uzhhorod National University(乌日霍罗德国立大学)
提出了一种混合聚类-分类神经网络。该网络允许在由于学习率参数的合理选择和在聚类过程中引入模糊推理的特殊过程而导致的类重叠的条件下增加信息处理的质量,这在有外部学习信号(监督的)和没有外部学习信号(无监督的)的情况下都发生。作为相似性度量邻域函数或隶属度函数,余弦结构被使用,这允许提供由于自学习-学习过程的高度灵活性,并提供一些新的有用的性质。实验结果证实了所提出的混合聚类-分类神经网络的有效性,并将其应用于反应性关节炎的诊断。
2016-10-21 cs.LG cs.NE stat.ML
Hybrid Density- and Partition-based Clustering Algorithm for Data with Mixed-type Variables
University of Florida(佛罗里达大学);University of Florida Health Cancer Center(佛罗里达大学健康癌症中心);University of Pittsburgh(匹兹堡大学)
聚类是发现数据模式的基本技术。多年来,数据量和复杂性的稳步增长导致了新的聚类算法的改进和发展。然而,可以对具有混合变量类型(连续和分类)的数据进行聚类的算法仍然有限,尽管具有混合类型的数据非常丰富,特别是在医学领域。在现有的混合数据处理方法中,存在一些无法验证的分布假设或不同类型变量的贡献不均衡的问题。我们提出了一个两步混合密度和分区为基础的算法(HyDaP),可以检测变量选择后的集群。第一步包括基于密度和基于划分的算法来识别由连续变量形成的数据结构并识别聚类的重要变量;第二步包括基于划分的算法以及我们为混合数据设计的新的相异性度量来获得聚类结果。我们对各种场景和数据结构进行了模拟,以检查HyDaP算法与常用方法相比的性能。我们还将HyDaP算法应用于电子健康记录以识别脓毒症表型。
2019-05-06 cs.LG stat.AP stat.ML
Hierarchical Clustering with Structural Constraints
Stanford University(斯坦福大学)
层次聚类是一种流行的无监督数据分析方法。对于许多现实世界的应用程序,我们希望利用有关数据的先验信息,这些信息对聚类层次结构施加了约束,并且没有被算法可用的特征集捕获。这就产生了“具有结构约束的层次聚类”问题。结构性约束对平均/单一链接等自下而上的方法构成了重大挑战,尽管它们可以自然地纳入自上而下的分裂算法中,但其输出质量不存在正式保证。在本文中,我们为两个简单的自顶向下算法提供了可证明的近似保证,使用最近引入的具有成对相似性信息的层次聚类的优化观点[Dasgupta,2016]。我们展示了如何找到好的解决方案,即使在存在冲突的先验信息,通过制定一个基于约束的正则化的目标。我们进一步探索了该目标的变体,用于相异信息[Cohen-Addad等人,#20182;改进现有技术。最后,我们展示了我们的方法在一个真正的数据集的分类应用程序。
2018-07-14 cs.AI cs.DS cs.LG
Fuzzy clustering of distribution-valued data using adaptive L2 Wasserstein distances
分布(或分布值)数据是一种新类型的数据,来自多个来源,被认为是分布变量的实现。提出了一种新的模糊c-均值算法。该算法使用分布之间的$L2$瓦瑟斯坦距离作为相异性度量。除了扩展的模糊c-均值算法的分布数据,并考虑到分解的平方$L2$瓦瑟斯坦距离,我们提出了一套算法,使用不同的自动方式来计算与变量以及与它们的组件,全球或集群明智的权重。在聚类过程中引入产品对一的约束,计算相关权重。相关性权重引入自适应距离,表达聚类过程中每个变量或每个分量的重要性,也可以作为聚类中的变量选择方法。我们已经测试了人工和真实世界的数据所提出的算法。结果证实,所提出的方法是能够更好地考虑到相对于标准的模糊c-均值,与非自适应距离的数据的聚类结构。
2016-05-02 stat.ML
ClustGeo: an R package for hierarchical clustering with spatial constraints
在本文中,我们提出了一个类似Ward的层次聚类算法,包括空间/地理约束。输入两个相异性矩阵$D_0$和$D_1$以及混合参数$α\in [0,1]$。相异度可以是非欧几里德的,并且观测值的权重可以是非均匀的。第一个矩阵给出了“特征空间”中的相异性,第二个矩阵给出了“约束空间”中的相异性。在每个阶段最小化的标准是用$D_0$计算的均匀性标准和用$D_1$计算的均匀性标准的凸组合。然后,想法是确定$α$的值,该值基于感兴趣的变量(即,特征空间的变量)增加空间邻接性而不会使解的质量劣化太多。使用R包ClustGeo在真实数据集上演示了此过程。
2017-12-13 stat.CO stat.ML
A Deterministic Information Bottleneck Method for Clustering Mixed-Type Data
Department of Mathematics, Imperial College London, London, United Kingdom(伦敦帝国学院数学系);School of Education, Democritus University of Thrace, Greece(德莫克利特斯大学教育学院)
本文提出DIBmix方法,通过信息瓶颈原理处理混合类型数据聚类,解决带宽选择和超参数更新问题,在大小不平衡和重叠数据中表现优异。
2026-01-29 cs.LG stat.ME stat.ML
Hierarchical Clustering for Smart Meter Electricity Loads based on Quantile Autocovariances
为了提高电力系统的效率和可持续性,世界上大多数国家都在住宅部门部署先进的计量基础设施,特别是家用智能电表。该技术能够以非常高的频率记录电力负荷时间序列,可以利用这些信息来开发新的聚类模型,以按照类似的消费模式对各个家庭进行分组。为此,在这项工作中,我们提出了三个层次聚类方法,允许捕捉不同的特性的时间序列。这些都是基于一组“相异性”的措施计算不同的功能:分位数自协方差,简单和偏自相关。主要优点是,它们允许在几个代表性特征中总结每个时间序列,使得它们在计算上是高效的,对离群值是鲁棒的,易于自动化,并且可扩展到数十万个智能电表系列。我们评估了每个聚类模型在现实世界的智能电表数据集与数千个半小时的时间序列的性能。结果表明,所获得的聚类如何识别相关的消费行为的家庭和捕获他们的地理人口细分的一部分。此外,我们应用监督分类程序来探索哪些特征与定义每个聚类更相关。
2019-11-08 stat.AP stat.ML stat.OT
Foundations of a Multi-way Spectral Clustering Framework for Hybrid Linear Modeling
混合线性模型(HLM)的问题是使用混合的仿射子空间来建模和分割数据。已经提出了不同的策略来解决这个问题,然而,严格的分析证明他们的表现是失踪。本文提出了一种解决HLM问题的理论谱曲率聚类算法(Theoretical Spectral Curvature Clustering,TSCC),该算法实际上是Govindu的多路谱聚类框架(CVPR 2005)和Ng等的结合。的谱聚类算法(NIPS 2001)。本文的主要结果指出,如果给定的数据是从混合分布集中在仿射子空间,然后与高采样概率的TSCC算法分割以及不同的底层集群。聚类的好坏取决于类内误差、类间交互和TSCC应用的调整参数。该证明也为Ng等人的分析提供了新的见解(NIPS 2001)。
2009-01-15 math.MG stat.ML
A Hybrid Mixture of $t$-Factor Analyzers for Clustering High-dimensional Data
本文提出一种将轮廓似然集成到EM框架的混合方法,用于高效估计$t$-因子分析器混合模型,在保持聚类精度和鲁棒性的同时提升计算效率,并应用于伽马射线暴聚类验证其异质性。
2025-08-04 astro-ph.HE stat.AP stat.CO
A Hybrid Mixture Approach for Clustering and Characterizing Cancer Data
本文提出一种混合无矩阵计算方案,结合高斯混合模型与广义因子分析器,在高维生物医学数据中实现更快速且准确的聚类与特征刻画,并成功应用于乳腺癌类型识别和淋巴瘤亚型表征。
2025-07-18 q-bio.TO stat.AP stat.CO