Copula Mixture Model for Dependency-seeking Clustering
University of Basel(巴塞尔大学)
我们引入了一个Copula混合模型,以执行依赖性寻求聚类时,从不同的数据源共现的样本。该模型利用Copula框架提供的巨大灵活性,将典型相关分析的混合物扩展到具有任意连续边缘密度的多变量数据。我们制定我们的模型作为一个非参数贝叶斯混合,同时提供有效的MCMC推理。对合成数据和真实数据的实验表明,Copula混合函数的灵活性大大提高了聚类结果的可解释性。
2012-06-27 cs.LG stat.ME stat.ML
Deep Graph Clustering via Mutual Information Maximization and Mixture Model
Department of Electrical and Computer Engineering, Isfahan University of Technology(伊斯法罕理工大学电子与计算机工程系)
本文提出了一种对比学习框架,通过最大化互信息和混合高斯分布来学习适合聚类的节点嵌入,有效提升了图聚类性能。
2022-05-10 cs.LG
Clustering based on Mixtures of Sparse Gaussian Processes
Isfahan University of Technology(伊斯法罕理工大学)
创建高维数据集的低维表示是许多机器学习应用中的重要组成部分。如何利用数据的低维嵌入空间进行聚类仍然是机器学习中的一个具有挑战性的问题。在这篇文章中,我们专注于提出一个联合制定聚类和降维。当需要概率模型时,一种可能的解决方案是使用混合模型,其中学习聚类指示符和低维空间。我们的算法是基于稀疏高斯过程的混合,这被称为稀疏高斯过程混合聚类(SGP-MIC)。与现有方法相比,我们的方法的主要优点是,该模型的概率性质比现有的确定性方法提供了更多的优势,构建模型的非线性推广是简单的,并且应用稀疏模型和有效的变分EM近似有助于加快算法。
2023-03-23 cs.LG
Clustering of check-in sequences using the mixture Markov chain process
National Research University Higher School of Economics(国立研究型高等经济学院)
这项工作是专门从地理社会网络的登记序列的聚类。我们使用混合马尔可夫链过程作为时间依赖型数据的数学模型。对于聚类,我们调整了期望最大化(EM)算法。因此,我们获得了现已不复存在的地理社交网络Weeplaces的用户的高度详细的社区(集群)。
2021-06-16 cs.CY cs.LG cs.SI
Recovery Guarantees for Kernel-based Clustering under Non-parametric Mixture Models
University of Tübingen(图宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Technical University of Munich(慕尼黑工业大学)
尽管基于内核的聚类无处不在,但令人惊讶的是,除了考虑数据生成过程中强结构假设的设置之外,几乎没有统计保证。在这项工作中,我们采取了一个步骤弥合这一差距,通过研究基于核的聚类算法的统计性能下的非参数混合模型。我们提供了必要和充分的可分性条件下,这些算法可以始终恢复底层的真实聚类。我们的分析为内核聚类方法提供了保证,而无需对组件分布的形式进行结构性假设。此外,我们建立了一个关键的等价基于核的数据聚类和基于核密度的聚类。这使我们能够为非参数混合模型的基于核的估计提供一致性保证。除了理论上的影响,这种联系可能具有实际意义,包括在聚类的背景下系统地选择高斯核的带宽。
2021-10-18 cs.LG stat.ML
Temporal Multinomial Mixture for Instance-Oriented Evolutionary Clustering
Korea Institute of Science and Technology Information(韩国科学技术信息研究院);University of Lyon 2(里昂第二大学)
演化聚类的目的是捕捉集群的时间演化。这个问题在自然时间驱动的社交媒体数据的背景下尤为重要。在本文中,我们提出了一种新的基于概率模型的进化聚类技术。时间多项混合模型(TMM)是经典混合模型的扩展,它在时间平滑性的权衡下优化特征同现。我们的模型进行了评估,最近的两个案例研究意见聚合随着时间的推移。我们比较了四种不同的概率聚类模型,我们的建议在面向实例的聚类任务的优越性。
2016-01-11 cs.IR cs.LG stat.ML
Clustering Mixtures of Discrete Distributions: A Note on Mitra's Algorithm
Princeton University(普林斯顿大学)
本文改进了Mitra算法在离散混合分布分类中的分析,通过将其调整为二部随机块模型,获得了比原算法更精细的分离条件。
2024-05-29 cs.LG stat.ML
Clustering subgaussian mixtures by semidefinite programming
Air Force Institute of Technology(空军理工学院);University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们介绍了一个无模型的松弛和轮算法的k-均值聚类的基础上半定松弛由于彭和魏。该算法将SDP输出解释为原始数据的去噪版本,然后将此输出舍入为硬聚类。我们提供了一个通用的方法来证明该算法的性能保证,我们分析了该算法的背景下,亚高斯混合模型。我们还研究了估计高斯中心的基本限制,以比较我们的近似保证理论上最优的k-均值聚类解决方案。
2016-05-10 cs.DS cs.IT cs.LG
M3C: A Framework towards Convergent, Flexible, and Unsupervised Learning of Mixture Graph Matching and Clustering
Shanghai Jiao Tong University(上海交通大学)
本文提出M3C框架及其无监督扩展UM3C,通过Minorize-Maximization保证收敛、松弛聚类提升灵活性,并引入边级亲和度学习与伪标签选择,在混合图匹配与聚类任务上取得领先的精度和效率。
2023-10-27 cs.LG
Explainable Clustering of Mixture Models
Technical University of Munich(慕尼黑技术大学)
本文针对混合模型的可解释聚类问题,提出利用数据分布信息的算法,给出与数据相关的可解释性代价界,并将理论保证扩展到核聚类,完善了最坏情况分析。
2026-09-07 cs.LG
Recovery of a mixture of Gaussians by sum-of-norms clustering
University of Waterloo(滑铁卢大学)
范数和聚类是一种使用凸优化将$\mathbb{R}^d$中的$n$点分配给$K$聚类$1\le K\le n$的方法。最近,Panahi et al.证明了在样本数不太大的限制下,范数和聚类保证恢复高斯混合。本说明的目的是取消这一限制,即,结果表明,具有相等权重的范数和聚类可以恢复高斯混合,即使样本数趋于无穷大。我们的证明依赖于一个有趣的特征集群计算的范数和聚类,是由Chiquet等人的凝聚猜想的证明内开发的。因为我们相信这个定理有独立的利益,我们重申和重新证明Chiquet等人。结果在此。
2019-02-19 cs.LG stat.ML
Identifiability of Nonparametric Mixture Models and Bayes Optimal Clustering
出于数据聚类中的问题,我们建立一般条件下,家庭的非参数混合模型是可识别的,通过引入一个新的框架,涉及聚类过拟合\emph{parametric}(即误指定)混合模型。这些可识别性条件概括了文献中的现有条件,并且足够灵活以包括例如高斯混合物的混合物。在最近的文献中估计非参数混合,我们允许一般的非参数混合成分,而不是施加规律性假设的基础混合措施。作为我们的主要应用程序,我们将这些结果应用到基于分区的聚类,将贝叶斯最优分区的概念从经典的基于参数模型的聚类推广到非参数设置。此外,这个框架是建设性的,使它产生一个实用的算法学习识别的混合物,这是通过几个例子说明了真实的数据。在分析中的关键概念设备是凸的,度量几何的概率测度的度量空间和连接到Wasserstein收敛的混合措施。其结果是一个灵活的框架,非参数聚类与正式的一致性保证。
2020-02-18 cs.AI cs.LG math.ST
Dissimilarity Mixture Autoencoder for Deep Clustering
Universidad Nacional de Colombia(哥伦比亚国立大学)
相异性混合自动编码器(DMAE)是一种用于基于特征的聚类的神经网络模型,它包含灵活的相异性函数,可以集成到任何类型的深度学习架构中。它在内部表示一个相异性混合模型(DMM),该模型通过将概率重新解释为神经网络表示,将K均值、高斯混合模型或Bregman聚类等经典方法扩展到任何凸和可微相异性函数。DMAE可以与深度学习架构集成到端到端模型中,允许同时估计聚类和神经网络的参数。在图像和文本聚类基准数据集上进行了实验评估,结果表明DMAE在无监督分类精度和归一化互信息方面具有竞争力。DMAE实现的源代码可在https://github.com/juselara1/dmae上公开获得
2021-07-15 cs.CV cs.LG stat.ML
Efficient mixture model for clustering of sparse high dimensional binary data
Jagiellonian University(雅盖隆大学)
在本文中,我们提出了一个混合模型,SparseMix,稀疏高维二进制数据的聚类,它连接基于模型的聚类和基于质心。每个组由一个代表和一个概率分布模型离这个代表的距离来描述。与基于EM算法的经典混合模型相比,SparseMix:-是专门为处理稀疏数据而设计的,-可以通过在线Hartigan优化算法有效地实现,-能够自动减少不必要的聚类。我们对各种类型的数据进行了广泛的实验研究,这证实了SparseMix构建的分区与相关方法相比具有更高的参考分组兼容性。此外,构造的代表往往更好地揭示数据的内部结构。
2017-07-11 cs.LG stat.ML
Clustering of non-Gaussian data by variational Bayes for normal inverse Gaussian mixture models
Kogakuin University of Technology and Engineering(工学院大学)
有限混合模型,通常是高斯混合,是众所周知的,并广泛用作基于模型的聚类。在实际情况中,有许多非高斯数据是重尾和/或不对称的。正态逆高斯分布是正态方差均值,其混合密度是逆高斯分布,可以用于半尾和非对称性。对于NIG混合模型,期望最大化方法和变分贝叶斯(VB)算法已经被提出。然而,现有的VB算法对NIG混合物的混合密度的形状是有限的缺点。在本文中,我们提出了另一种VB算法的NIG混合,改进的缺点。我们还提出了一个扩展的Dirichlet过程混合模型,以克服在有限混合模型中确定集群的数量的困难。我们用人工数据评估了性能,发现它优于高斯混合和现有的NIG混合实现,特别是对于高度非规范的数据。
2020-09-13 cs.LG stat.ML
Strong Coresets for Hard and Soft Bregman Clustering with Applications to Exponential Family Mixtures
ETH Zurich(苏黎世联邦理工学院)
核心集是数据集的有效表示,使得在核心集上训练的模型与在原始数据集上训练的模型具有可证明的竞争力。因此,它们已成功地用于将聚类模型(如K-Means和高斯混合模型)扩展到大规模数据集。然而,到目前为止,算法和相应的理论通常是特定于每个聚类问题。我们提出了一个单一的,实用的算法来构建强coresets一大类的硬和软的聚类问题的基础上Bregman分歧。这一类包括硬聚类与流行的失真措施,如平方欧几里德距离,马哈拉诺比斯距离,KL发散和Itakura-Saito距离。由于Bregman分歧和指数族分布之间的双重关系,相应的软聚类问题与流行的混合模型直接相关。我们的理论结果进一步暗示了一个随机多项式时间近似方案的硬聚类。我们证明了所提出的算法的实用性,在实证评估。
2016-05-02 cs.LG stat.ML
Clustering Survival Data using a Mixture of Non-parametric Experts
Federal University of Rio de Janeiro(里约热内卢联邦大学)
SurvMixClust将聚类与生存函数预测统一于非参数专家混合框架,在五个公共数据集上生成平衡且生存曲线不同的聚类,优于聚类基线,预测精度媲美非聚类生存模型。
2024-05-24 cs.LG stat.ML
Multivariate normal mixture modeling, clustering and classification with the rebmix package
rebmix包提供了用于随机单变量和多变量有限混合模型生成、估计、聚类和分类的R函数。本文研究了方差-协方差阵不受限的多元正态混合模型.我们的目标是显示如何生成数据集的已知数量的组件,观察和组件参数的数量,如何估计组件的数量,组件的权重和组件参数,以及如何预测集群和类成员的基础上训练的模型的REBMIX算法。附带的绘图,引导和其他功能的包处理,太。为了演示的目的,本文研究了一个方差-协方差阵不受限制的多元正态数据集。
2018-01-26 cs.LG stat.ML
Linear Time Clustering for High Dimensional Mixtures of Gaussian Clouds
Bell Laboratories, Nokia(诺基亚贝尔实验室)
混合高斯分布的聚类是一个基本的和具有挑战性的问题,是普遍存在于各种高维数据处理任务。虽然关于学习高斯混合模型的最新工作主要集中在改进分离边界及其对任意类混合模型的推广上,但对所提出的解决方案的实际计算效率的重视程度较低。在本文中,我们提出了一种新的和高效的聚类算法的$n$点从混合的两个任意高斯分布$\mathbb{R}^p$。该算法涉及执行随机1维投影,直到找到产生用户指定的聚类误差$e$的方向。对于一个1维分离参数$γ$满足$γ=Q^{-1}(e)$,这种预测的预期数量被证明是有界的$o(\ln p)$,当$γ$满足$γ\leq c\sqrt{\ln{\ln{p}}}$,与$c$作为分离参数的两个高斯在$\mathbb{R}^p$。因此,在$o(\ln{p})O(np)$下,该算法的预期总运行时间在$n$中是线性的,在$p$中是准线性的,并且样本复杂度与$p$无关。该结果与先前的工作形成对比,先前的工作在$p$和$n$中提供多项式,最好是二次的运行时间。我们表明,我们的1维投影的预期数量的范围扩展到三个或更多的高斯分量的情况下,我们提出了一个概括我们的结果混合分布超出高斯模型。
2018-03-01 cs.LG
Dimension Reduction via Sum-of-Squares and Improved Clustering Algorithms for Non-Spherical Mixtures
MIT University of Washington EPFL(麻省理工学院 华盛顿大学 EPFL)
提出基于平方和方法的降维子程序,实现非球形高斯混合物的高效聚类,显著降低样本和时间的维度依赖。
2026-06-01 cs.DS cs.LG stat.ML
Multivariate Beta Mixture Model: Probabilistic Clustering With Flexible Cluster Shapes
National Central University(中央大学)
本文提出多元贝塔混合模型(MBMM),利用多元贝塔分布的灵活密度函数实现软聚类,并通过合成与真实数据实验验证其能适应多样聚类形状。
2024-02-21 cs.AI cs.LG
Deep Unsupervised Clustering Using Mixture of Autoencoders
University of Michigan(密歇根大学);Technicolor(特艺集团);Adobe(Adobe公司)
无监督聚类是机器学习中最基本的挑战之一。一个流行的假设是,数据是从一个低维非线性流形的联合产生的,因此聚类的方法是识别和分离这些流形。在本文中,我们提出了一种新的方法来解决这个问题,通过使用混合的自动编码器。我们的模型由两部分组成:1)一个自动编码器的集合,其中每个自动编码器学习一组相似对象的底层流形,以及2)混合分配神经网络,它将来自自动编码器的级联潜在向量作为输入并推断集群上的分布。通过联合优化这两个部分,我们同时将数据分配给集群并学习每个集群的底层流形。
2017-12-26 cs.LG stat.ML
Mixture Model Auto-Encoders: Deep Clustering through Dictionary Learning
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院)
用于对高维数据进行聚类的最新方法利用深度自动编码器架构。由于自动编码器的黑盒性质,这些网络中的许多网络需要大量的参数,并且缺乏可解释性。我们介绍了混合模型自动编码器(MixMate),一种新的架构,通过对生成模型进行推理来聚类数据。从稀疏字典学习和混合模型的角度来看,MixMate包括几个自动编码器,每个编码器的任务是在不同的集群中重建数据,同时在潜在空间中实施稀疏性。通过对各种图像数据集的实验,我们表明,与最先进的深度聚类算法相比,MixMate实现了具有竞争力的性能,同时使用了数量级更少的参数。
2022-02-25 cs.LG eess.SP
Optimality of Spectral Clustering in the Gaussian Mixture Model
ETH Zürich(苏黎世联邦理工学院);University of Pennsylvania(宾夕法尼亚大学);Yale University(耶鲁大学)
谱聚类是对高维数据进行聚类的一种常用算法。它易于实现,计算效率高。尽管它的流行和成功的应用,它的理论特性还没有得到充分的理解。本文证明了在协协方差阵为各向同性的高斯混合模型中,当聚类数固定且信噪比足够大时,谱聚类是极小极大最优的.谱间隔条件在文献中被广泛假设来分析谱聚类。相反,这些条件是不需要建立本文的谱聚类的最优性。
2020-08-05 cs.LG math.SP math.ST
Posterior Regularization on Bayesian Hierarchical Mixture Clustering
Tencent(腾讯);University College Dublin(都柏林大学学院);Trinity College Dublin(都柏林圣三一学院)
针对贝叶斯层次混合聚类(BHMC)高层节点分离度弱的问题,提出对各层节点施加最大间隔约束的后验正则化方法,有效提升了BHMC模型的聚类分离效果。
2023-05-05 cs.AI cs.LG stat.ML
Universal Lower Bounds and Optimal Rates: Achieving Minimax Clustering Error in Sub-Exponential Mixture Models
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Bilkent University(比尔肯特大学)
本文针对次指数混合模型,提出基于Chernoff散度的通用聚类误差下界,证明迭代算法可达最优速率,并验证Bregman硬聚类在指数族混合模型中的速率最优性。
2024-07-17 cs.LG math.ST stat.ML
MiCE: Mixture of Contrastive Experts for Unsupervised Image Clustering
Tsinghua University(清华大学);Institute for AI(人工智能研究院);BNRist Center(北京信息科学与技术国家研究中心);Tsinghua-Bosch Joint ML Center(清华-博世机器学习联合研究中心);THBI Lab(清华脑与智能实验室)
我们提出的混合对比专家(MiCE),一个统一的概率聚类框架,同时利用对比学习和潜在的混合模型捕获的语义结构学习的歧视性表示。受混合专家模型的启发,MiCE采用门控函数根据潜在语义将未标记的数据集划分为子集,并且多个专家以对比学习的方式区分分配给它们的实例的不同子集。为了解决由潜在变量引起的非平凡推理和学习问题,我们进一步开发了MiCE的期望最大化(EM)算法的可扩展变体,并提供收敛性证明。经验上,我们评估的聚类性能的MiCE四个广泛采用的自然图像数据集。MiCE实现了比各种以前的方法和强大的对比学习基线显著更好的结果。
2021-05-05 cs.CV cs.LG
Deep Conditional Gaussian Mixture Model for Constrained Clustering
ETH Zürich(苏黎世联邦理工学院);University Children’s Hospital Regensburg (KUNO)(雷根斯堡大学儿童医院(KUNO));University of Regensburg(雷根斯堡大学)
约束聚类在机器学习领域得到了极大的关注,因为它可以利用越来越多的部分标记数据的先验信息。根据深度生成模型的最新进展,我们提出了一种新的约束聚类框架,该框架直观,可解释,并且可以在随机梯度变分推理的框架中有效地训练。通过明确地整合领域知识的概率关系的形式,我们提出的模型(DC-GMM)揭示了潜在的分布数据的条件上事先聚类的偏好,表示为成对的约束。这些约束通过指示哪些样本应该或不应该属于同一聚类来引导聚类过程朝向数据的期望分区。我们提供了大量的实验来证明,DC-GMM显示出优越的聚类性能和鲁棒性相比,国家的最先进的深度约束聚类方法在广泛的数据集。我们进一步证明了我们的方法在两个具有挑战性的现实世界中的应用程序的有用性。
2022-02-01 cs.LG
Turtle shell clustering: A mixture approach to discriminative clustering with applications to flow cytometry and other data
Department of Mathematics & Statistics, McMaster University(数学与统计学系,麦斯特大学);School of Computer Science & Statistics, Trinity College Dublin(计算机科学与统计学学院,三一学院都柏林)
本文提出一种混合方法的判别聚类算法,能够自动选择聚类数目并处理数据异常,应用于流式细胞术等数据集。
2026-07-21 cs.LG stat.ME stat.ML
Meta-learning representations for clustering with infinite Gaussian mixture models
NTT Communication Science Laboratories(NTT通信科学实验室)
为了获得更好的聚类性能,适当的表示至关重要。虽然已经提出了许多基于神经网络的度量学习方法,但它们并不直接训练神经网络来提高聚类性能。我们提出了一种元学习方法,训练神经网络获得表示,使聚类性能提高时,表示聚类的变分贝叶斯(VB)推理与无限高斯混合模型。所提出的方法可以聚类看不见的未标记的数据使用知识元学习与标记的数据是从未标记的数据不同。对于目标函数,我们提出了一个连续的近似调整兰德指数(ARI),我们可以评估软聚类分配的聚类性能。由于近似的ARI和VB推理过程是可微的,我们可以通过VB推理过程反向传播目标函数来训练神经网络。通过使用文本和图像数据集的实验,我们证明了我们提出的方法具有更高的调整后的Rand指数比现有的方法。
2021-03-01 cs.LG stat.ML
Reliable Clustering of Bernoulli Mixture Models
Sharif University of Technology(谢里夫理工大学)
伯努利混合模型(Bernoulli Mixture Model,BMM)是具有独立维度的随机二进制向量的有限混合。聚类BMM数据的问题出现在各种现实世界的应用中,从群体遗传学到社交网络中的活动分析。在本文中,我们从理论的角度分析了集群的可集群性,当集群的数量是未知的。特别是,我们对模型的样本复杂度和维度规定了一组条件,以保证数据集的可能近似正确(PAC)可集群性。据我们所知,这些研究结果是第一个非渐近界的学习或聚类样本的复杂性。
2019-06-16 cs.IT cs.LG math.IT
Neural Mixture Models with Expectation-Maximization for End-to-end Deep Clustering
University of Moratuwa(莫拉图瓦大学);CodeGen(CodeGen公司)
任何聚类算法都必须同步学习对聚类进行建模,并在没有标签的情况下将数据分配给这些聚类。基于混合模型的方法利用预定义的统计分布对聚类进行建模,并基于聚类似然性将数据分配给这些聚类。他们迭代地细化这些分布参数和成员分配的期望最大化(EM)算法。然而,这种手工设计的分布,采用有限数量的参数的集群表示能力是不够的,大多数现实世界的聚类任务。在本文中,我们实现了基于混合模型的聚类与神经网络的最后一层神经元,借助一个额外的转换,近似集群分布输出。网络参数构成这些分布的参数。其结果是一个优雅的,更普遍的集群表示比手工设计的分布的限制性混合。我们通过分批EM迭代对网络进行端到端的训练,其中向前传递充当E步,向后传递充当M步。在图像聚类中,基于混合的EM目标可以与现有的表示学习方法一起用作聚类目标。特别是,我们表明,当混合EM优化融合一致性优化,它提高了唯一的一致性优化性能聚类。我们训练的网络优于仍然依赖于k-means的单阶段深度聚类方法,STL 10的无监督分类准确率为63.8%,CIFAR 10为58%,CIFAR 100为25.9%,MNIST为98.9%。
2022-10-02 cs.AI cs.CV cs.LG
The Informativeness of K -Means for Learning Mixture Models
National University of Singapore(新加坡国立大学)
混合模型的学习可以看作是一个聚类问题。事实上,给定从混合分布独立生成的数据样本,我们通常希望根据它们从哪个分量分布生成来找到样本的{ \it正确目标聚类}。对于聚类问题,从业者通常选择使用简单的$k$均值算法。$k$ -表示尝试找到{ \it最佳聚类},以最小化每个点与其聚类中心之间的平方和距离。在本文中,我们考虑基本的(即,通过优化平方和距离获得的解决方案(聚类)的信息论)限制。特别是,我们提供了充分的条件,任何最佳的聚类和正确的目标聚类假设的数据样本是从混合球高斯分布生成的接近。我们也将我们的结果推广到对数凹分布。此外,我们还表明,在混合模型上类似甚至更弱的条件下,降维样本的任何最佳聚类也接近正确的目标聚类。这些结果提供了直观的信息$k$ -手段(有和没有降维)作为学习混合模型的算法。
2022-08-25 cs.IT cs.LG math.IT
Time Series Clustering with an EM algorithm for Mixtures of Linear Gaussian State Space Models
Shiga University(滋贺大学);Osaka Gas Co., Ltd.(大阪燃气株式会社)
在本文中,我们考虑的任务是聚类一组单独的时间序列,而每个集群建模,即基于模型的时间序列聚类。这项任务需要一个参数模型,具有足够的灵活性,以描述各种时间序列的动态。为了解决这个问题,我们提出了一种新的基于模型的时间序列聚类方法与线性高斯状态空间模型的混合物,具有很高的灵活性。该方法采用一种新的混合模型期望最大化算法估计模型参数,并利用贝叶斯信息准则确定聚类数。在模拟数据集上的实验证明了该方法在聚类、参数估计和模型选择等方面的有效性。该方法适用于真实数据集通常用于评估时间序列聚类方法。结果表明,所提出的方法产生的聚类结果是准确或更准确的比使用以前的方法。
2023-02-22 cs.CV cs.LG math.ST
Flexible Bivariate Beta Mixture Model: A Probabilistic Approach for Clustering Complex Data Structures
National Central University(中央大学)
针对传统聚类算法难以处理非凸簇的问题,提出灵活双变量贝塔混合模型(FBBMM),利用双变量贝塔分布灵活性,结合EM算法和SLSQP优化器,在合成及真实数据上验证了其优越的复杂结构聚类性能。
2025-02-27 cs.AI cs.LG
A sparse negative binomial mixture model for clustering RNA-seq count data
MD Anderson Cancer Center(MD安德森癌症中心);University of Pittsburgh(匹兹堡大学);University of Maryland(马里兰大学)
对于现代小n大p数据,变量选择聚类是一项具有挑战性的关键任务。基于稀疏高斯混合模型或稀疏K均值的现有方法提供了连续数据的解决方案。随着RNA-seq技术的流行和缺乏用于聚类的计数数据建模,当前的实践是将计数表达数据归一化为连续测量并应用具有高斯假设的现有模型。在本文中,我们开发了一个负二项混合模型与lasso或融合lasso基因正则化聚类样本(小n)与高维基因特征(大p)。采用期望最大化算法和贝叶斯信息准则进行推理,确定整定参数。使用广泛的模拟和大鼠脑和乳腺癌研究中的两个真实转录组应用将该方法与现有方法进行比较。结果表明,所提出的计数数据模型在聚类精度,特征选择和生物学解释的途径优越的性能。
2020-04-25 cs.LG stat.ML
Optimal Clustering in Anisotropic Gaussian Mixture Models
University of Washington(华盛顿大学);University of Pennsylvania(宾夕法尼亚大学)
本文研究了各向异性高斯混合模型下的聚类问题,其中来自不同聚类的协方差阵是未知的,并且不一定是相同的矩阵。我们刻画了信噪比对聚类中心和协方差阵的依赖性,并得到了聚类问题的极大极小下界。此外,我们提出了一个计算上可行的程序,并证明它达到了最佳的速度在几个迭代。所提出的方法是一种硬EM型算法,它也可以被看作是劳埃德算法的一个变体,该算法被调整到各向异性的协方差阵。
2021-01-18 cs.LG math.ST stat.ML
Scalable Clustering: Large Scale Unsupervised Learning of Gaussian Mixture Models with Outliers
Florida State University(佛罗里达州立大学)
本文提出一种基于损失最小化的鲁棒聚类算法,解决带异常值的高斯混合模型的大规模聚类问题,提供理论保证并可作为 k-means 初始化策略,在 ImageNet 等大规模数据集上表现优异。
2023-02-28 cs.LG stat.ML
Mixture-of-Experts Variational Autoencoder for Clustering and Generating from Similarity-Based Representations on Single Cell Data
ETH Zürich(苏黎世联邦理工学院);Life Science Graduate School Zurich(苏黎世生命科学研究生院);Swiss Institute of Bioinformatics(瑞士生物信息学研究所);University of Tübingen(图宾根大学)
聚类高维数据,如图像或生物测量,是一个长期存在的问题,并已被广泛研究。最近,深度聚类由于其在适应复杂数据的特定特性方面的灵活性而受到欢迎。本文介绍了一种新的生成式聚类模型MoE-Sim-VAE(混合专家模型Similarity变分自编码器),该模型能够学习高维数据的多模态分布,并利用这些分布高效地生成真实数据。MoE-Sim-VAE基于变分自编码器(VAE),其中解码器由混合专家模型(MoE)架构组成。这种特定的架构允许通过专家自动学习数据的各种模式。此外,我们鼓励我们模型的低维潜在表示遵循高斯混合分布,并准确表示数据点之间的相似性。我们评估了我们的模型在MNIST基准数据集上的性能,并挑战了从单细胞RNA测序测量中聚类小鼠器官和从数百个不同数据集上的质谱仪(CyTOF)测量中定义细胞亚群的现实任务。与基线以及竞争对手的方法相比,MoE-Sim-VAE在所有这些任务上都表现出卓越的聚类性能。
2020-12-18 cs.LG stat.ML
Estimation of Non-Normalized Mixture Models and Clustering Using Deep Representation
The University of Tokyo(东京大学);University College London(伦敦大学学院);University of Helsinki(赫尔辛基大学)
我们开发了一个通用的方法来估计有限的混合非归一化模型。这里,非归一化模型被定义为具有难以处理的归一化常数的参数分布。现有的方法估计非归一化模型,而不计算归一化常数不适用于混合模型,因为它们包含一个以上的棘手的归一化常数。所提出的方法是通过扩展噪声对比估计(NCE),估计非归一化模型之间的观测数据和一些人为产生的噪声进行区分。我们还提出了一个扩展的NCE与多个噪声分布。然后,基于观察,传统的分类学习与神经网络是隐含地假设一个指数族作为一个生成模型,我们介绍了一种方法,通过估计一个指数族中的分布的有限混合聚类未标记的数据。该混合模型的估计是通过建议的NCE扩展来实现的,其中神经网络的训练数据被用作噪声。因此,所提出的方法提供了一种能够利用深度表示的概率原则聚类方法。使用深度神经网络进行图像聚类的应用给出了有希望的结果。
2018-05-19 cs.LG stat.ML
Mixed data Deep Gaussian Mixture Model: A clustering model for mixed datasets
CNRS(法国国家科学研究中心);Centrale Marseille(马赛中央理工学院);Aix-Marseille Univ.(艾克斯-马赛大学);Univ Lyon(里昂大学);UCBL(里昂第一大学);Univ. of Bologna(博洛尼亚大学)
聚类混合数据提出了许多挑战,固有的非常异构的性质的变量。尽管存在这种异质性,聚类算法应该能够从变量中提取有区别的信息,以便设计组。在这项工作中,我们介绍了一种多层架构的基于模型的聚类方法称为混合深度高斯混合模型(MDGMM),可以被视为一种自动的方式来合并分别对连续和非连续数据进行聚类。这种架构是灵活的,可以适应混合以及连续或非连续数据。在这个意义上,我们推广了广义线性潜变量模型和深度高斯混合模型。我们还设计了一个新的初始化策略和一个数据驱动的方法,选择最佳规格的模型和最佳数量的集群为一个给定的数据集“上飞”。此外,我们的模型提供了连续的低维表示的数据,这可以是一个有用的工具,可视化混合数据集。最后,我们验证了我们的方法的性能比较其结果与国家的最先进的混合数据聚类模型在几个常用的数据集。
2021-03-10 cs.LG stat.ML
Optimal Clustering of Multi-layer Networks under Mixture Block Models
Hong Kong University of Science and Technology(香港科技大学);The Hong Kong Polytechnic University(香港理工大学)
本文研究了多层网络及离散混合分布的最优聚类问题,提出了基于张量初始化和似然Lloyd算法的两阶段聚类方法,实现了由Renyi散度刻画的极小化最优聚类错误率。
2026-10-23 cs.LG cs.SI math.ST
Clustering Mixtures with Almost Optimal Separation in Polynomial Time
Microsoft Research(微软研究院);MIT(麻省理工学院)
我们考虑的问题,聚类的平均分离高斯混合物在高维。我们从$k$身份协方差高斯的混合物中获得样本,因此对于某个参数$Δ> 0$,任何两对均值之间的最小成对距离至少为$Δ$,目标是恢复这些样本的地面真值聚类。这是民间传说,分离$Δ= Θ(\sqrt{\log k})$是必要的和足够的恢复一个良好的聚类,至少在理论上的信息。然而,实现这一保证的估计是低效的。我们给出了第一个算法,它运行在多项式时间,几乎匹配这个保证。更准确地说,我们给出了一个算法,它需要多项式多个样本和时间,并可以成功地恢复一个良好的聚类,只要分离是$Δ= Ω(\log^{1/2 + c} k)$,对任何$c > 0$。以前,多项式时间算法仅在$k$中分离为多项式时才知道该问题,并且所有能够容忍$\textsf{poly}( \log k )$分离的算法都需要准多项式时间。我们还扩展我们的结果的混合物的分布,满足庞加莱不等式的翻译,在额外的温和的假设。我们的主要技术工具,我们认为是独立的利益,是一种新的方式来隐式表示和估计分布的高阶矩,这使我们能够提取有关高阶矩的重要信息,而无需明确写下完整的矩张量。
2021-12-01 cs.DS cs.LG math.ST
EGMM: an Evidential Version of the Gaussian Mixture Model for Clustering
Northwestern Polytechnical University(西北工业大学);Université de Technologie de Compiègne(贡比涅技术大学);Institut Universitaire de France(法国大学研究院)
高斯混合模型(GMM)为聚类提供了一个简单而有原则的框架,具有适合统计推断的属性。在本文中,我们提出了一种新的基于模型的聚类算法,称为EGMM(证据GMM),在理论框架的信念函数,以更好地表征集群成员的不确定性。用一个质量函数来表示每个对象的聚类隶属度,提出了由所需聚类幂集上的分量组成的证据高斯混合分布来建模整个数据集。EGMM中的参数估计由一个专门设计的期望最大化(EM)算法。还提供了允许自动确定簇的适当数目的有效性指数。建议EGMM是简单的经典GMM,但可以产生一个更丰富的证据分区所考虑的数据集。合成数据集和真实数据集的实验结果表明,该EGMM算法的性能优于其他代表性的聚类算法。最后,将其应用于多模态脑图像分割,证明了该方法的优越性。
2022-09-07 cs.LG stat.ML
Spectral Properties of Radial Kernels and Clustering in High Dimensions
UCA INRIA(蔚蓝海岸大学法国国家信息与自动化研究所)
本文研究了$\mathbb{R}^n$中混合分布径向核的谱和特征向量。我们的方法专注于高维度,仅依赖于混合物中组分的浓度特性。我们给出了几个结果描述的核矩阵的结构,从这样的混合物中抽取的样本。基于这些结果,我们分析了核PCA聚类高维混合的能力。特别是,我们展示了一个特定的内核,导致一个简单的频谱算法聚类可能共同的手段,但不同的协方差阵的混合物。我们表明,所需的算法成功的协方差阵之间的最小角间距趋于$0$的$n$走向无穷大。
2020-01-06 cs.LG stat.ML
Dynamic Clustering via Asymptotics of the Dependent Dirichlet Process Mixture
MIT(麻省理工学院);Duke University(杜克大学);Ohio State University(俄亥俄州立大学)
本文提出了一种新的算法,依赖Dirichlet过程混合模型(DDPMM)的基础上,包含一个未知数量的演变集群的批量顺序数据的聚类。该算法是通过对DDPMM的Gibbs采样算法进行低方差渐近分析而得出的,并提供了一个具有类似于k-均值算法的收敛保证的硬聚类。移动高斯聚类合成测试和真实ADS-B飞机轨迹数据测试的实证结果表明,该算法需要的计算时间比当代概率和硬聚类算法少几个数量级,同时提供更高的精度检查数据集。
2013-11-01 cs.LG stat.ML
Clustering Time Series Data with Gaussian Mixture Embeddings in a Graph Autoencoder Framework
针对传统时间序列聚类难以捕捉复杂时间依赖的问题,提出变分混合图自编码器(VMGAE),利用图结构优势捕捉数据关系并生成高斯混合嵌入,实验表明其显著优于现有技术,在金融数据上的应用可为市场分析提供深度见解。
2024-11-25 cs.AI cs.LG eess.SP
Hierarchical mixtures of Gaussians for combined dimensionality reduction and clustering
University of Tübingen(图宾根大学)
本研究提出分层高斯混合模型HMoGs,将降维与聚类统一为单个概率模型,通过新型指数族参数化降低计算复杂度,在合成数据和MNIST上验证了联合优化的性能提升,兼具统计严谨性与可解释性。
2025-07-29 cs.LG stat.ML
Efficient Large-Scale Face Clustering Using an Online Mixture of Gaussians
Vicomtech Foundation(Vicomtech基金会);University of the Basque Country(巴斯克大学)
在这项工作中,我们解决了大规模在线人脸聚类的问题:给定一个连续的未知面孔流,创建一个数据库,根据他们的身份对传入的面孔进行分组。每次有新面孔到来,数据库都必须更新。此外,解决方案必须高效、准确和可扩展。为此,我们提出了一个在线高斯混合聚类方法(OGMC)。该方法的关键思想是提议一个身份可以由不止一个分布或集群表示。使用从传入的面部提取的特征向量(f向量),OGMC生成可以根据其接近度和鲁棒性与其他人连接的聚类。每次使用新样本更新集群时,其连接也会更新。通过这种方法,我们减少了聚类过程对传入数据的顺序和大小的依赖,并且我们能够处理复杂的数据分布。实验结果表明,该方法优于国家的最先进的聚类方法在大规模的人脸聚类基准不仅在准确性,而且在效率和可扩展性。
2021-03-31 cs.CV cs.LG
Unsupervised Deep Clustering for Source Separation: Direct Learning from Mixtures using Spatial Information
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(Adobe研究院)
我们提出了一个单声道声源分离系统,该系统只通过观察没有地面真值分离信息的混合物来训练。我们使用一种深度聚类方法,该方法在多通道混合物上进行训练,并学会将频谱图箱投影到与各种空间特征相关的源集群。我们表明,使用这样的训练过程中,我们可以获得的分离性能是一样好,利用地面真分离信息。一旦经过训练,这个系统就能够对单声道输入进行声音分离,尽管已经学会了如何使用多声道录音来这样做。
2018-11-09 cs.LG cs.SD eess.AS
GM-CTSC at SemEval-2020 Task 1: Gaussian Mixtures Cross Temporal Similarity Clustering
University of Bari(巴里大学);Dublin City University(都柏林城市大学)
本文描述了SemEval-2020任务1:无监督词汇语义变化检测的系统。我们的方法集中在检测问题上。鉴于在不同时间段的时间词嵌入捕获的单词的语义,我们研究了使用无监督的方法来检测目标词何时获得或失去意义。为此,我们定义了一个新的算法的基础上高斯混合模型的目标相似性计算在两个时期的聚类。我们比较了所提出的方法与一些基于相似性的阈值。我们发现,尽管检测方法的性能在不同的词嵌入算法中有所不同,但高斯混合与时间参考的组合产生了我们最好的系统。
2020-05-20 cs.CL cs.LG
Variational Information Bottleneck for Unsupervised Clustering: Deep Gaussian Mixture Embedding
Huawei Technologies(华为技术有限公司);Université Paris-Est(巴黎东大学)
在本文中,我们开发了一个无监督的生成聚类框架,结合了变分信息瓶颈和高斯混合模型。具体来说,在我们的方法中,我们使用变分信息瓶颈方法,并将潜在空间建模为高斯混合。我们推导了模型的代价函数的界,它推广了证据下界(ELBO),并给出了一个变分推理型算法来计算它,在该算法中,编码器的映射使用神经网络进行参数化,该界用Monte Carlo抽样近似,并用随机梯度下降进行优化。真实数据集上的数值结果提供了支持我们的方法的效率。
2020-02-27 cs.IT cs.LG math.IT
Dirichlet Process Parsimonious Mixtures for clustering
Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);CNRS(法国国家科学研究中心);Aix Marseille Université(艾克斯-马赛大学);ENSAM(法国国立高等工程技术学校);Université de Toulon(土伦大学)
简约高斯混合模型,它利用一个特征值分解的组协方差阵的高斯混合,已显示出他们的成功,特别是在聚类分析。它们的估计一般通过极大似然估计进行,并且也从参数贝叶斯前景考虑。我们提出了新的Dirichlet过程简约混合物(DPPM),代表这些简约高斯混合模型的贝叶斯非参数制定。所提出的DPPM模型是贝叶斯非参数简约混合模型,允许同时推断模型参数,混合物组分的最佳数量和最佳简约混合物结构的数据。我们开发了一个吉布斯抽样技术的最大后验概率(MAP)估计的DPMM模型,并提供了一个贝叶斯模型选择框架,通过使用贝叶斯因子。我们将它们应用于聚类模拟数据和真实数据集,并将它们与标准的简约混合模型进行比较。所得到的结果突出了所提出的非参数简约混合模型作为一个很好的非参数替代参数简约模型的有效性。
2018-10-17 cs.LG stat.ME stat.ML
Clustering Mixtures of Bounded Covariance Distributions Under Optimal Separation
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加州大学圣地亚哥分校)
该研究针对有界协方差分布混合模型的聚类问题,提出近似均匀混合下的首个多项式时间算法,引入聚类细化概念解决一般权重混合的信息论不可行问题,且算法对对抗性离群点具有鲁棒性。
2023-12-19 cs.DS cs.IT cs.LG