MPCC: Matching Priors and Conditionals for Clustering
Universidad de Chile（智利大学）；Millennium Institute of Astrophysics（千禧天体物理研究所）；Universidad Austral de Chile（智利南方大学）；Harvard University（哈佛大学）
聚类是无监督学习中的一项基本任务，它在很大程度上取决于所使用的数据表示。深度生成模型已经成为学习信息丰富的低维数据表示的一种有前途的工具。我们提出了用于聚类的匹配先验和条件（MPCC），这是一种基于GAN的模型，具有从数据中推断潜在变量和聚类类别的编码器，以及从条件潜在空间生成样本的灵活解码器。通过MPCC，我们证明了深度生成模型在聚类任务中可以与区别性方法竞争/优于各种基准数据集上的最新技术。我们的实验表明，添加可学习的先验知识并增加编码器更新的数量可以提高生成样本的质量，获得9.49 $\pm$ 0.15的初始得分，并在CIFAR 10中将Fréchet初始距离提高了46.9%。
2020-08-21 cs.LG
Variable selection for clustering with Gaussian mixture models: state of the art
University of Hasan 1st（哈桑一世大学）；University of Abdelmalek Essaâdi（阿卜杜勒马利克·埃萨迪大学）
混合模型已被广泛用于聚类中，由于其概率框架，其基础，然而，对于现代数据库，其特点是其规模大，这些模型的行为dispromisingly在设置模型，使必要的相关变量的选择，这种类型的聚类。在回顾了基于模型的聚类的基础知识之后，本文将研究基于模型的聚类的变量选择方法，并提出改进这些方法的机会。
2017-01-31 cs.LG stat.ML
Mixture Complexity and Its Application to Gradual Clustering Change Detection
The University of Tokyo（东京大学）
在使用有限混合模型的基于模型的聚类中，确定聚类的数量（聚类大小）是一个重大挑战。它曾经等于混合物成分的数量（混合物规模）;然而，在存在重叠或权重偏差的情况下，这可能无效。在这项研究中，我们提出了一个新的概念，称为混合物复杂性（MC）连续测量的集群大小的混合模型。它是从信息论的角度正式定义的，可以看作是一个自然的集群规模考虑重叠和权重偏差的扩展。随后，我们应用MC逐步聚类变化检测的问题。传统上，聚类变化被认为是突然的，由混合物大小或聚类大小的变化引起。同时，我们认为集群的变化是渐进的MC，它的好处是发现的变化更早，区分显着和不显着的变化。我们进一步证明了MC可以根据混合模型的层次结构进行分解，这有助于我们分析子结构的细节。
2020-07-15 cs.LG stat.ML
Recovery Guarantees for Kernel-based Clustering under Non-parametric Mixture Models
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Technical University of Munich（慕尼黑工业大学）
尽管基于内核的聚类无处不在，但令人惊讶的是，除了考虑数据生成过程中强结构假设的设置之外，几乎没有统计保证。在这项工作中，我们采取了一个步骤弥合这一差距，通过研究基于核的聚类算法的统计性能下的非参数混合模型。我们提供了必要和充分的可分性条件下，这些算法可以始终恢复底层的真实聚类。我们的分析为内核聚类方法提供了保证，而无需对组件分布的形式进行结构性假设。此外，我们建立了一个关键的等价基于核的数据聚类和基于核密度的聚类。这使我们能够为非参数混合模型的基于核的估计提供一致性保证。除了理论上的影响，这种联系可能具有实际意义，包括在聚类的背景下系统地选择高斯核的带宽。
2021-10-18 cs.LG stat.ML
Clustering Semi-Random Mixtures of Gaussians
Rutgers University（罗格斯大学）；Northwestern University（西北大学）
高斯混合模型（GMM）是用于$k$均值聚类问题的最广泛使用的统计模型，并且形成用于机器学习和数据分析中的聚类的流行框架。在本文中，我们提出了一个自然的半随机模型的$k$ -均值聚类，概括了高斯混合模型，我们相信这将是有用的，在确定强大的算法。在我们的模型中，允许半随机对手对从高斯混合模型生成的数据进行任意的“单调”或有益的更改。我们的第一个贡献是一个多项式时间算法，可证明恢复地面真相小分类错误w. h. p.，假设各部件之间有一定的间隔。也许令人惊讶的是，我们分析的算法是流行的劳埃德算法的$k$ -均值聚类，这是在实践中的方法的选择。我们的第二个结果补充了上限，给出了一个几乎匹配的信息理论的下界所产生的任何$k$ -均值聚类算法的半随机模型的误分类点的数量。
2017-11-23 cs.DS cs.LG
Optimal interval clustering: Application to Bregman clustering and statistical mixture learning
Université des Antilles-Guyane（安的列斯-圭亚那大学）；Sony Computer Science Laboratories, Inc.（索尼计算机科学实验室公司）；NICTA（澳大利亚国家信息与通信技术研究院）
我们提出了一个通用的动态规划方法来计算$n$标量元素到$k$成对不相交区间的最佳聚类。这种情况下，包括一维欧几里德$k$ -手段，$k$ -medoids，$k$ -中位数，$k$ -中心等，我们扩展的方法，将集群大小的限制，并显示如何选择合适的$k$模型选择。最后，我们在两个案例研究中说明和改进了该方法：Bregman聚类和统计混合学习最大化完整的可能性。
2014-05-26 cs.IT cs.LG math.IT
Deep Clustering Based on a Mixture of Autoencoders
Bar-Ilan University（巴伊兰大学）
在本文中，我们提出了一种基于深度自动编码器混合的深度自动编码器混合聚类（DAMIC）算法，其中每个聚类由一个自动编码器表示。聚类网络将数据转换到另一个空间，然后选择其中一个聚类。接下来，使用与该聚类相关联的自动编码器来重建数据点。聚类算法联合学习非线性数据表示和自编码器集合。通过最小化混合自编码器网络的重构损失来寻找最优聚类。与其他深度聚类算法不同，不需要正则化项来避免数据崩溃到单个点。我们对图像和文本语料库的实验评估表明，国家的最先进的方法显着改善。
2019-03-27 cs.AI cs.LG stat.ML
Clustering Mixtures of Discrete Distributions: A Note on Mitra's Algorithm
Princeton University（普林斯顿大学）
本文改进了Mitra算法在离散混合分布分类中的分析，通过将其调整为二部随机块模型，获得了比原算法更精细的分离条件。
2024-05-29 cs.LG stat.ML
Copula Mixture Model for Dependency-seeking Clustering
University of Basel（巴塞尔大学）
我们引入了一个Copula混合模型，以执行依赖性寻求聚类时，从不同的数据源共现的样本。该模型利用Copula框架提供的巨大灵活性，将典型相关分析的混合物扩展到具有任意连续边缘密度的多变量数据。我们制定我们的模型作为一个非参数贝叶斯混合，同时提供有效的MCMC推理。对合成数据和真实数据的实验表明，Copula混合函数的灵活性大大提高了聚类结果的可解释性。
2012-06-27 cs.LG stat.ME stat.ML
Recovery of a mixture of Gaussians by sum-of-norms clustering
University of Waterloo（滑铁卢大学）
范数和聚类是一种使用凸优化将$\mathbb{R}^d$中的$n$点分配给$K$聚类$1\le K\le n$的方法。最近，Panahi et al.证明了在样本数不太大的限制下，范数和聚类保证恢复高斯混合。本说明的目的是取消这一限制，即，结果表明，具有相等权重的范数和聚类可以恢复高斯混合，即使样本数趋于无穷大。我们的证明依赖于一个有趣的特征集群计算的范数和聚类，是由Chiquet等人的凝聚猜想的证明内开发的。因为我们相信这个定理有独立的利益，我们重申和重新证明Chiquet等人。结果在此。
2019-02-19 cs.LG stat.ML
Efficient mixture model for clustering of sparse high dimensional binary data
Jagiellonian University（雅盖隆大学）
在本文中，我们提出了一个混合模型，SparseMix，稀疏高维二进制数据的聚类，它连接基于模型的聚类和基于质心。每个组由一个代表和一个概率分布模型离这个代表的距离来描述。与基于EM算法的经典混合模型相比，SparseMix：-是专门为处理稀疏数据而设计的，-可以通过在线Hartigan优化算法有效地实现，-能够自动减少不必要的聚类。我们对各种类型的数据进行了广泛的实验研究，这证实了SparseMix构建的分区与相关方法相比具有更高的参考分组兼容性。此外，构造的代表往往更好地揭示数据的内部结构。
2017-07-11 cs.LG stat.ML
Clustering of non-Gaussian data by variational Bayes for normal inverse Gaussian mixture models
Kogakuin University of Technology and Engineering（工学院大学）
有限混合模型，通常是高斯混合，是众所周知的，并广泛用作基于模型的聚类。在实际情况中，有许多非高斯数据是重尾和/或不对称的。正态逆高斯分布是正态方差均值，其混合密度是逆高斯分布，可以用于半尾和非对称性。对于NIG混合模型，期望最大化方法和变分贝叶斯（VB）算法已经被提出。然而，现有的VB算法对NIG混合物的混合密度的形状是有限的缺点。在本文中，我们提出了另一种VB算法的NIG混合，改进的缺点。我们还提出了一个扩展的Dirichlet过程混合模型，以克服在有限混合模型中确定集群的数量的困难。我们用人工数据评估了性能，发现它优于高斯混合和现有的NIG混合实现，特别是对于高度非规范的数据。
2020-09-13 cs.LG stat.ML
Strong Coresets for Hard and Soft Bregman Clustering with Applications to Exponential Family Mixtures
ETH Zurich（苏黎世联邦理工学院）
核心集是数据集的有效表示，使得在核心集上训练的模型与在原始数据集上训练的模型具有可证明的竞争力。因此，它们已成功地用于将聚类模型（如K-Means和高斯混合模型）扩展到大规模数据集。然而，到目前为止，算法和相应的理论通常是特定于每个聚类问题。我们提出了一个单一的，实用的算法来构建强coresets一大类的硬和软的聚类问题的基础上Bregman分歧。这一类包括硬聚类与流行的失真措施，如平方欧几里德距离，马哈拉诺比斯距离，KL发散和Itakura-Saito距离。由于Bregman分歧和指数族分布之间的双重关系，相应的软聚类问题与流行的混合模型直接相关。我们的理论结果进一步暗示了一个随机多项式时间近似方案的硬聚类。我们证明了所提出的算法的实用性，在实证评估。
2016-05-02 cs.LG stat.ML
Clustering of check-in sequences using the mixture Markov chain process
National Research University Higher School of Economics（国立研究型高等经济学院）
这项工作是专门从地理社会网络的登记序列的聚类。我们使用混合马尔可夫链过程作为时间依赖型数据的数学模型。对于聚类，我们调整了期望最大化（EM）算法。因此，我们获得了现已不复存在的地理社交网络Weeplaces的用户的高度详细的社区（集群）。
2021-06-16 cs.CY cs.LG cs.SI
Clustering Survival Data using a Mixture of Non-parametric Experts
Federal University of Rio de Janeiro（里约热内卢联邦大学）
SurvMixClust将聚类与生存函数预测统一于非参数专家混合框架，在五个公共数据集上生成平衡且生存曲线不同的聚类，优于聚类基线，预测精度媲美非聚类生存模型。
2024-05-24 cs.LG stat.ML
Temporal Multinomial Mixture for Instance-Oriented Evolutionary Clustering
Korea Institute of Science and Technology Information（韩国科学技术信息研究院）；University of Lyon 2（里昂第二大学）
演化聚类的目的是捕捉集群的时间演化。这个问题在自然时间驱动的社交媒体数据的背景下尤为重要。在本文中，我们提出了一种新的基于概率模型的进化聚类技术。时间多项混合模型（TMM）是经典混合模型的扩展，它在时间平滑性的权衡下优化特征同现。我们的模型进行了评估，最近的两个案例研究意见聚合随着时间的推移。我们比较了四种不同的概率聚类模型，我们的建议在面向实例的聚类任务的优越性。
2016-01-11 cs.IR cs.LG stat.ML
Universality of Gaussian-Mixture Reverse Kernels in Conditional Diffusion
Center for Mathematics and Interdisciplinary Sciences, Fudan University（复旦大学数学与交叉科学中心）；Shanghai Institute for Mathematics and Interdisciplinary Sciences (SIMIS)（上海数学与交叉科学研究院（SIMIS））；Northeastern University（东北大学）；Infectious Diseases Division, icddr,b（icddr,b传染病部门）；Rutgers University（罗格斯大学）
研究证明，具有ReLU网络对数的有限高斯混合反向核的条件扩散模型可近似任意正则目标分布，误差随扩散时间增加而减小。
2026-04-15 cs.LG stat.ML
Multivariate normal mixture modeling, clustering and classification with the rebmix package
rebmix包提供了用于随机单变量和多变量有限混合模型生成、估计、聚类和分类的R函数。本文研究了方差-协方差阵不受限的多元正态混合模型.我们的目标是显示如何生成数据集的已知数量的组件，观察和组件参数的数量，如何估计组件的数量，组件的权重和组件参数，以及如何预测集群和类成员的基础上训练的模型的REBMIX算法。附带的绘图，引导和其他功能的包处理，太。为了演示的目的，本文研究了一个方差-协方差阵不受限制的多元正态数据集。
2018-01-26 cs.LG stat.ML
Multivariate Beta Mixture Model: Probabilistic Clustering With Flexible Cluster Shapes
National Central University（中央大学）
本文提出多元贝塔混合模型（MBMM），利用多元贝塔分布的灵活密度函数实现软聚类，并通过合成与真实数据实验验证其能适应多样聚类形状。
2024-02-21 cs.AI cs.LG
Deep Unsupervised Clustering Using Mixture of Autoencoders
University of Michigan（密歇根大学）；Technicolor（特艺集团）；Adobe（Adobe公司）
无监督聚类是机器学习中最基本的挑战之一。一个流行的假设是，数据是从一个低维非线性流形的联合产生的，因此聚类的方法是识别和分离这些流形。在本文中，我们提出了一种新的方法来解决这个问题，通过使用混合的自动编码器。我们的模型由两部分组成：1）一个自动编码器的集合，其中每个自动编码器学习一组相似对象的底层流形，以及2）混合分配神经网络，它将来自自动编码器的级联潜在向量作为输入并推断集群上的分布。通过联合优化这两个部分，我们同时将数据分配给集群并学习每个集群的底层流形。
2017-12-26 cs.LG stat.ML
Dissimilarity Mixture Autoencoder for Deep Clustering
Universidad Nacional de Colombia（哥伦比亚国立大学）
相异性混合自动编码器（DMAE）是一种用于基于特征的聚类的神经网络模型，它包含灵活的相异性函数，可以集成到任何类型的深度学习架构中。它在内部表示一个相异性混合模型（DMM），该模型通过将概率重新解释为神经网络表示，将K均值、高斯混合模型或Bregman聚类等经典方法扩展到任何凸和可微相异性函数。DMAE可以与深度学习架构集成到端到端模型中，允许同时估计聚类和神经网络的参数。在图像和文本聚类基准数据集上进行了实验评估，结果表明DMAE在无监督分类精度和归一化互信息方面具有竞争力。DMAE实现的源代码可在https://github.com/juselara1/dmae上公开获得
2021-07-15 cs.CV cs.LG stat.ML
Mixture Model Auto-Encoders: Deep Clustering through Dictionary Learning
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
用于对高维数据进行聚类的最新方法利用深度自动编码器架构。由于自动编码器的黑盒性质，这些网络中的许多网络需要大量的参数，并且缺乏可解释性。我们介绍了混合模型自动编码器（MixMate），一种新的架构，通过对生成模型进行推理来聚类数据。从稀疏字典学习和混合模型的角度来看，MixMate包括几个自动编码器，每个编码器的任务是在不同的集群中重建数据，同时在潜在空间中实施稀疏性。通过对各种图像数据集的实验，我们表明，与最先进的深度聚类算法相比，MixMate实现了具有竞争力的性能，同时使用了数量级更少的参数。
2022-02-25 cs.LG eess.SP
MiCE: Mixture of Contrastive Experts for Unsupervised Image Clustering
Tsinghua University（清华大学）；Institute for AI（人工智能研究院）；BNRist Center（北京信息科学与技术国家研究中心）；Tsinghua-Bosch Joint ML Center（清华-博世机器学习联合研究中心）；THBI Lab（清华脑与智能实验室）
我们提出的混合对比专家（MiCE），一个统一的概率聚类框架，同时利用对比学习和潜在的混合模型捕获的语义结构学习的歧视性表示。受混合专家模型的启发，MiCE采用门控函数根据潜在语义将未标记的数据集划分为子集，并且多个专家以对比学习的方式区分分配给它们的实例的不同子集。为了解决由潜在变量引起的非平凡推理和学习问题，我们进一步开发了MiCE的期望最大化（EM）算法的可扩展变体，并提供收敛性证明。经验上，我们评估的聚类性能的MiCE四个广泛采用的自然图像数据集。MiCE实现了比各种以前的方法和强大的对比学习基线显著更好的结果。
2021-05-05 cs.CV cs.LG
Meta-learning representations for clustering with infinite Gaussian mixture models
NTT Communication Science Laboratories（NTT通信科学实验室）
为了获得更好的聚类性能，适当的表示至关重要。虽然已经提出了许多基于神经网络的度量学习方法，但它们并不直接训练神经网络来提高聚类性能。我们提出了一种元学习方法，训练神经网络获得表示，使聚类性能提高时，表示聚类的变分贝叶斯（VB）推理与无限高斯混合模型。所提出的方法可以聚类看不见的未标记的数据使用知识元学习与标记的数据是从未标记的数据不同。对于目标函数，我们提出了一个连续的近似调整兰德指数（ARI），我们可以评估软聚类分配的聚类性能。由于近似的ARI和VB推理过程是可微的，我们可以通过VB推理过程反向传播目标函数来训练神经网络。通过使用文本和图像数据集的实验，我们证明了我们提出的方法具有更高的调整后的Rand指数比现有的方法。
2021-03-01 cs.LG stat.ML
Identifiability of Nonparametric Mixture Models and Bayes Optimal Clustering
出于数据聚类中的问题，我们建立一般条件下，家庭的非参数混合模型是可识别的，通过引入一个新的框架，涉及聚类过拟合\emph{parametric}（即误指定）混合模型。这些可识别性条件概括了文献中的现有条件，并且足够灵活以包括例如高斯混合物的混合物。在最近的文献中估计非参数混合，我们允许一般的非参数混合成分，而不是施加规律性假设的基础混合措施。作为我们的主要应用程序，我们将这些结果应用到基于分区的聚类，将贝叶斯最优分区的概念从经典的基于参数模型的聚类推广到非参数设置。此外，这个框架是建设性的，使它产生一个实用的算法学习识别的混合物，这是通过几个例子说明了真实的数据。在分析中的关键概念设备是凸的，度量几何的概率测度的度量空间和连接到Wasserstein收敛的混合措施。其结果是一个灵活的框架，非参数聚类与正式的一致性保证。
2020-02-18 cs.AI cs.LG math.ST
Robustly Clustering a Mixture of Gaussians
我们给出了一个有效的算法鲁棒聚类的混合物的两个任意高斯，一个中心的开放问题，在计算有效的鲁棒估计理论，假设只有组件高斯的平均值分离良好或他们的协方差分离良好。我们的算法和分析自然扩展到强大的聚类混合物分离强logconvex分布。所需的均值分离接近于最小可能，以保证每个分量的大部分测量可以通过某个超平面分离（对于协方差，这与二次多项式核中的条件相同）。我们还表明，高斯混合，分离的总变化距离足以实现强大的聚类。我们的主要工具是一个新的可识别性准则的基础上各向同性的位置和Fisher判别，以及相应的平方和凸规划松弛，固定的程度。
2020-05-31 cs.DS cs.LG
Flexible Bivariate Beta Mixture Model: A Probabilistic Approach for Clustering Complex Data Structures
National Central University（中央大学）
针对传统聚类算法难以处理非凸簇的问题，提出灵活双变量贝塔混合模型（FBBMM），利用双变量贝塔分布灵活性，结合EM算法和SLSQP优化器，在合成及真实数据上验证了其优越的复杂结构聚类性能。
2025-02-27 cs.AI cs.LG
A sparse negative binomial mixture model for clustering RNA-seq count data
MD Anderson Cancer Center（MD安德森癌症中心）；University of Pittsburgh（匹兹堡大学）；University of Maryland（马里兰大学）
对于现代小n大p数据，变量选择聚类是一项具有挑战性的关键任务。基于稀疏高斯混合模型或稀疏K均值的现有方法提供了连续数据的解决方案。随着RNA-seq技术的流行和缺乏用于聚类的计数数据建模，当前的实践是将计数表达数据归一化为连续测量并应用具有高斯假设的现有模型。在本文中，我们开发了一个负二项混合模型与lasso或融合lasso基因正则化聚类样本（小n）与高维基因特征（大p）。采用期望最大化算法和贝叶斯信息准则进行推理，确定整定参数。使用广泛的模拟和大鼠脑和乳腺癌研究中的两个真实转录组应用将该方法与现有方法进行比较。结果表明，所提出的计数数据模型在聚类精度，特征选择和生物学解释的途径优越的性能。
2020-04-25 cs.LG stat.ML
Scalable Clustering: Large Scale Unsupervised Learning of Gaussian Mixture Models with Outliers
Florida State University（佛罗里达州立大学）
本文提出一种基于损失最小化的鲁棒聚类算法，解决带异常值的高斯混合模型的大规模聚类问题，提供理论保证并可作为 k-means 初始化策略，在 ImageNet 等大规模数据集上表现优异。
2023-02-28 cs.LG stat.ML
Mixture-of-Experts Variational Autoencoder for Clustering and Generating from Similarity-Based Representations on Single Cell Data
ETH Zürich（苏黎世联邦理工学院）；Life Science Graduate School Zurich（苏黎世生命科学研究生院）；Swiss Institute of Bioinformatics（瑞士生物信息学研究所）；University of Tübingen（图宾根大学）
聚类高维数据，如图像或生物测量，是一个长期存在的问题，并已被广泛研究。最近，深度聚类由于其在适应复杂数据的特定特性方面的灵活性而受到欢迎。本文介绍了一种新的生成式聚类模型MoE-Sim-VAE（混合专家模型Similarity变分自编码器），该模型能够学习高维数据的多模态分布，并利用这些分布高效地生成真实数据。MoE-Sim-VAE基于变分自编码器（VAE），其中解码器由混合专家模型（MoE）架构组成。这种特定的架构允许通过专家自动学习数据的各种模式。此外，我们鼓励我们模型的低维潜在表示遵循高斯混合分布，并准确表示数据点之间的相似性。我们评估了我们的模型在MNIST基准数据集上的性能，并挑战了从单细胞RNA测序测量中聚类小鼠器官和从数百个不同数据集上的质谱仪（CyTOF）测量中定义细胞亚群的现实任务。与基线以及竞争对手的方法相比，MoE-Sim-VAE在所有这些任务上都表现出卓越的聚类性能。
2020-12-18 cs.LG stat.ML
Estimation of Non-Normalized Mixture Models and Clustering Using Deep Representation
The University of Tokyo（东京大学）；University College London（伦敦大学学院）；University of Helsinki（赫尔辛基大学）
我们开发了一个通用的方法来估计有限的混合非归一化模型。这里，非归一化模型被定义为具有难以处理的归一化常数的参数分布。现有的方法估计非归一化模型，而不计算归一化常数不适用于混合模型，因为它们包含一个以上的棘手的归一化常数。所提出的方法是通过扩展噪声对比估计（NCE），估计非归一化模型之间的观测数据和一些人为产生的噪声进行区分。我们还提出了一个扩展的NCE与多个噪声分布。然后，基于观察，传统的分类学习与神经网络是隐含地假设一个指数族作为一个生成模型，我们介绍了一种方法，通过估计一个指数族中的分布的有限混合聚类未标记的数据。该混合模型的估计是通过建议的NCE扩展来实现的，其中神经网络的训练数据被用作噪声。因此，所提出的方法提供了一种能够利用深度表示的概率原则聚类方法。使用深度神经网络进行图像聚类的应用给出了有希望的结果。
2018-05-19 cs.LG stat.ML
Posterior Regularization on Bayesian Hierarchical Mixture Clustering
Tencent（腾讯）；University College Dublin（都柏林大学学院）；Trinity College Dublin（都柏林圣三一学院）
针对贝叶斯层次混合聚类（BHMC）高层节点分离度弱的问题，提出对各层节点施加最大间隔约束的后验正则化方法，有效提升了BHMC模型的聚类分离效果。
2023-05-05 cs.AI cs.LG stat.ML
Mixed data Deep Gaussian Mixture Model: A clustering model for mixed datasets
CNRS（法国国家科学研究中心）；Centrale Marseille（马赛中央理工学院）；Aix-Marseille Univ.（艾克斯-马赛大学）；Univ Lyon（里昂大学）；UCBL（里昂第一大学）；Univ. of Bologna（博洛尼亚大学）
聚类混合数据提出了许多挑战，固有的非常异构的性质的变量。尽管存在这种异质性，聚类算法应该能够从变量中提取有区别的信息，以便设计组。在这项工作中，我们介绍了一种多层架构的基于模型的聚类方法称为混合深度高斯混合模型（MDGMM），可以被视为一种自动的方式来合并分别对连续和非连续数据进行聚类。这种架构是灵活的，可以适应混合以及连续或非连续数据。在这个意义上，我们推广了广义线性潜变量模型和深度高斯混合模型。我们还设计了一个新的初始化策略和一个数据驱动的方法，选择最佳规格的模型和最佳数量的集群为一个给定的数据集“上飞”。此外，我们的模型提供了连续的低维表示的数据，这可以是一个有用的工具，可视化混合数据集。最后，我们验证了我们的方法的性能比较其结果与国家的最先进的混合数据聚类模型在几个常用的数据集。
2021-03-10 cs.LG stat.ML
Mixture Density Conditional Generative Adversarial Network Models (MD-CGAN)
University of Oxford（牛津大学）；Oxford-Man Institute of Quantitative Finance（牛津-曼量化金融研究所）
生成对抗网络（GANs）近年来受到了极大的关注，特别是在计算机视觉中的应用令人印象深刻。然而，与这些例子相比，GANs在时间序列建模（包括预测）方面的应用更为有限。在这项工作中，我们提出了混合密度条件生成对抗模型（MD-CGAN），重点是时间序列预测。我们表明，我们的模型是能够估计的概率后验分布的预测，并在一组基准方法相比，MD-CGAN模型表现良好，特别是在噪声是一个重要组成部分的情况下观察到的时间序列。此外，通过使用高斯混合模型作为输出分布，MD-CGAN提供了非高斯的后验预测。
2020-12-04 cs.LG stat.ML
Optimality of Spectral Clustering in the Gaussian Mixture Model
ETH Zürich（苏黎世联邦理工学院）；University of Pennsylvania（宾夕法尼亚大学）；Yale University（耶鲁大学）
谱聚类是对高维数据进行聚类的一种常用算法。它易于实现，计算效率高。尽管它的流行和成功的应用，它的理论特性还没有得到充分的理解。本文证明了在协协方差阵为各向同性的高斯混合模型中，当聚类数固定且信噪比足够大时，谱聚类是极小极大最优的.谱间隔条件在文献中被广泛假设来分析谱聚类。相反，这些条件是不需要建立本文的谱聚类的最优性。
2020-08-05 cs.LG math.SP math.ST
Turtle shell clustering: A mixture approach to discriminative clustering with applications to flow cytometry and other data
Department of Mathematics & Statistics, McMaster University（数学与统计学系，麦斯特大学）；School of Computer Science & Statistics, Trinity College Dublin（计算机科学与统计学学院，三一学院都柏林）
本文提出一种混合方法的判别聚类算法，能够自动选择聚类数目并处理数据异常，应用于流式细胞术等数据集。
2026-07-21 cs.LG stat.ME stat.ML
Universal Lower Bounds and Optimal Rates: Achieving Minimax Clustering Error in Sub-Exponential Mixture Models
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Bilkent University（比尔肯特大学）
本文针对次指数混合模型，提出基于Chernoff散度的通用聚类误差下界，证明迭代算法可达最优速率，并验证Bregman硬聚类在指数族混合模型中的速率最优性。
2024-07-17 cs.LG math.ST stat.ML
EGMM: an Evidential Version of the Gaussian Mixture Model for Clustering
Northwestern Polytechnical University（西北工业大学）；Université de Technologie de Compiègne（贡比涅技术大学）；Institut Universitaire de France（法国大学研究院）
高斯混合模型（GMM）为聚类提供了一个简单而有原则的框架，具有适合统计推断的属性。在本文中，我们提出了一种新的基于模型的聚类算法，称为EGMM（证据GMM），在理论框架的信念函数，以更好地表征集群成员的不确定性。用一个质量函数来表示每个对象的聚类隶属度，提出了由所需聚类幂集上的分量组成的证据高斯混合分布来建模整个数据集。EGMM中的参数估计由一个专门设计的期望最大化（EM）算法。还提供了允许自动确定簇的适当数目的有效性指数。建议EGMM是简单的经典GMM，但可以产生一个更丰富的证据分区所考虑的数据集。合成数据集和真实数据集的实验结果表明，该EGMM算法的性能优于其他代表性的聚类算法。最后，将其应用于多模态脑图像分割，证明了该方法的优越性。
2022-09-07 cs.LG stat.ML
Neural Mixture Models with Expectation-Maximization for End-to-end Deep Clustering
University of Moratuwa（莫拉图瓦大学）；CodeGen（CodeGen公司）
任何聚类算法都必须同步学习对聚类进行建模，并在没有标签的情况下将数据分配给这些聚类。基于混合模型的方法利用预定义的统计分布对聚类进行建模，并基于聚类似然性将数据分配给这些聚类。他们迭代地细化这些分布参数和成员分配的期望最大化（EM）算法。然而，这种手工设计的分布，采用有限数量的参数的集群表示能力是不够的，大多数现实世界的聚类任务。在本文中，我们实现了基于混合模型的聚类与神经网络的最后一层神经元，借助一个额外的转换，近似集群分布输出。网络参数构成这些分布的参数。其结果是一个优雅的，更普遍的集群表示比手工设计的分布的限制性混合。我们通过分批EM迭代对网络进行端到端的训练，其中向前传递充当E步，向后传递充当M步。在图像聚类中，基于混合的EM目标可以与现有的表示学习方法一起用作聚类目标。特别是，我们表明，当混合EM优化融合一致性优化，它提高了唯一的一致性优化性能聚类。我们训练的网络优于仍然依赖于k-means的单阶段深度聚类方法，STL 10的无监督分类准确率为63.8%，CIFAR 10为58%，CIFAR 100为25.9%，MNIST为98.9%。
2022-10-02 cs.AI cs.CV cs.LG
Spectral Properties of Radial Kernels and Clustering in High Dimensions
UCA INRIA（蔚蓝海岸大学法国国家信息与自动化研究所）
本文研究了$\mathbb{R}^n$中混合分布径向核的谱和特征向量。我们的方法专注于高维度，仅依赖于混合物中组分的浓度特性。我们给出了几个结果描述的核矩阵的结构，从这样的混合物中抽取的样本。基于这些结果，我们分析了核PCA聚类高维混合的能力。特别是，我们展示了一个特定的内核，导致一个简单的频谱算法聚类可能共同的手段，但不同的协方差阵的混合物。我们表明，所需的算法成功的协方差阵之间的最小角间距趋于$0$的$n$走向无穷大。
2020-01-06 cs.LG stat.ML
Reliable Clustering of Bernoulli Mixture Models
Sharif University of Technology（谢里夫理工大学）
伯努利混合模型（Bernoulli Mixture Model，BMM）是具有独立维度的随机二进制向量的有限混合。聚类BMM数据的问题出现在各种现实世界的应用中，从群体遗传学到社交网络中的活动分析。在本文中，我们从理论的角度分析了集群的可集群性，当集群的数量是未知的。特别是，我们对模型的样本复杂度和维度规定了一组条件，以保证数据集的可能近似正确（PAC）可集群性。据我们所知，这些研究结果是第一个非渐近界的学习或聚类样本的复杂性。
2019-06-16 cs.IT cs.LG math.IT
Dynamic Clustering via Asymptotics of the Dependent Dirichlet Process Mixture
MIT（麻省理工学院）；Duke University（杜克大学）；Ohio State University（俄亥俄州立大学）
本文提出了一种新的算法，依赖Dirichlet过程混合模型（DDPMM）的基础上，包含一个未知数量的演变集群的批量顺序数据的聚类。该算法是通过对DDPMM的Gibbs采样算法进行低方差渐近分析而得出的，并提供了一个具有类似于k-均值算法的收敛保证的硬聚类。移动高斯聚类合成测试和真实ADS-B飞机轨迹数据测试的实证结果表明，该算法需要的计算时间比当代概率和硬聚类算法少几个数量级，同时提供更高的精度检查数据集。
2013-11-01 cs.LG stat.ML
Time Series Clustering with an EM algorithm for Mixtures of Linear Gaussian State Space Models
Shiga University（滋贺大学）；Osaka Gas Co., Ltd.（大阪燃气株式会社）
在本文中，我们考虑的任务是聚类一组单独的时间序列，而每个集群建模，即基于模型的时间序列聚类。这项任务需要一个参数模型，具有足够的灵活性，以描述各种时间序列的动态。为了解决这个问题，我们提出了一种新的基于模型的时间序列聚类方法与线性高斯状态空间模型的混合物，具有很高的灵活性。该方法采用一种新的混合模型期望最大化算法估计模型参数，并利用贝叶斯信息准则确定聚类数。在模拟数据集上的实验证明了该方法在聚类、参数估计和模型选择等方面的有效性。该方法适用于真实数据集通常用于评估时间序列聚类方法。结果表明，所提出的方法产生的聚类结果是准确或更准确的比使用以前的方法。
2023-02-22 cs.CV cs.LG math.ST
Hierarchical mixtures of Gaussians for combined dimensionality reduction and clustering
University of Tübingen（图宾根大学）
本研究提出分层高斯混合模型HMoGs，将降维与聚类统一为单个概率模型，通过新型指数族参数化降低计算复杂度，在合成数据和MNIST上验证了联合优化的性能提升，兼具统计严谨性与可解释性。
2025-07-29 cs.LG stat.ML
Mixture Gaussian Process Conditional Heteroscedasticity
Imperial College London（帝国理工学院）；Cyprus University of Technology（塞浦路斯理工大学）
广义自回归条件异方差（GARCH）模型一直被认为是最成功的金融收益率波动建模方法之一。在本文中，我们提出了一种替代方法的基础上广泛使用的统计机器学习领域的方法。具体来说，我们提出了一种新的非参数贝叶斯混合高斯过程回归模型，其中每个组件模型的噪声方差过程，污染的观测数据作为一个单独的潜在的高斯过程驱动的观测数据。这样，我们基本上得到了一个混合高斯过程条件异方差（MGPCH）模型的金融收益率波动建模。我们施加一个非参数先验与幂律性质的模型混合物成分的分布，即Pitman-Yor过程之前，允许更好地捕捉建模的数据分布与重尾和偏度。最后，我们提供了一种基于copula的方法，用于获得通过假设MGPCH模型建模的资产收益协方差的预测后验。我们评估了我们的方法在一些基准场景中的有效性，并将其性能与最先进的方法进行比较。
2013-01-25 cs.LG stat.ML
Efficient Large-Scale Face Clustering Using an Online Mixture of Gaussians
Vicomtech Foundation（Vicomtech基金会）；University of the Basque Country（巴斯克大学）
在这项工作中，我们解决了大规模在线人脸聚类的问题：给定一个连续的未知面孔流，创建一个数据库，根据他们的身份对传入的面孔进行分组。每次有新面孔到来，数据库都必须更新。此外，解决方案必须高效、准确和可扩展。为此，我们提出了一个在线高斯混合聚类方法（OGMC）。该方法的关键思想是提议一个身份可以由不止一个分布或集群表示。使用从传入的面部提取的特征向量（f向量），OGMC生成可以根据其接近度和鲁棒性与其他人连接的聚类。每次使用新样本更新集群时，其连接也会更新。通过这种方法，我们减少了聚类过程对传入数据的顺序和大小的依赖，并且我们能够处理复杂的数据分布。实验结果表明，该方法优于国家的最先进的聚类方法在大规模的人脸聚类基准不仅在准确性，而且在效率和可扩展性。
2021-03-31 cs.CV cs.LG
The Informativeness of K -Means for Learning Mixture Models
National University of Singapore（新加坡国立大学）
混合模型的学习可以看作是一个聚类问题。事实上，给定从混合分布独立生成的数据样本，我们通常希望根据它们从哪个分量分布生成来找到样本的{ \it正确目标聚类}。对于聚类问题，从业者通常选择使用简单的$k$均值算法。$k$ -表示尝试找到{ \it最佳聚类}，以最小化每个点与其聚类中心之间的平方和距离。在本文中，我们考虑基本的（即，通过优化平方和距离获得的解决方案（聚类）的信息论）限制。特别是，我们提供了充分的条件，任何最佳的聚类和正确的目标聚类假设的数据样本是从混合球高斯分布生成的接近。我们也将我们的结果推广到对数凹分布。此外，我们还表明，在混合模型上类似甚至更弱的条件下，降维样本的任何最佳聚类也接近正确的目标聚类。这些结果提供了直观的信息$k$ -手段（有和没有降维）作为学习混合模型的算法。
2022-08-25 cs.IT cs.LG math.IT
Optimal Clustering in Anisotropic Gaussian Mixture Models
University of Washington（华盛顿大学）；University of Pennsylvania（宾夕法尼亚大学）
本文研究了各向异性高斯混合模型下的聚类问题，其中来自不同聚类的协方差阵是未知的，并且不一定是相同的矩阵。我们刻画了信噪比对聚类中心和协方差阵的依赖性，并得到了聚类问题的极大极小下界。此外，我们提出了一个计算上可行的程序，并证明它达到了最佳的速度在几个迭代。所提出的方法是一种硬EM型算法，它也可以被看作是劳埃德算法的一个变体，该算法被调整到各向异性的协方差阵。
2021-01-18 cs.LG math.ST stat.ML
GM-CTSC at SemEval-2020 Task 1: Gaussian Mixtures Cross Temporal Similarity Clustering
University of Bari（巴里大学）；Dublin City University（都柏林城市大学）
本文描述了SemEval-2020任务1：无监督词汇语义变化检测的系统。我们的方法集中在检测问题上。鉴于在不同时间段的时间词嵌入捕获的单词的语义，我们研究了使用无监督的方法来检测目标词何时获得或失去意义。为此，我们定义了一个新的算法的基础上高斯混合模型的目标相似性计算在两个时期的聚类。我们比较了所提出的方法与一些基于相似性的阈值。我们发现，尽管检测方法的性能在不同的词嵌入算法中有所不同，但高斯混合与时间参考的组合产生了我们最好的系统。
2020-05-20 cs.CL cs.LG
Clustering subgaussian mixtures by semidefinite programming
Air Force Institute of Technology（空军理工学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们介绍了一个无模型的松弛和轮算法的k-均值聚类的基础上半定松弛由于彭和魏。该算法将SDP输出解释为原始数据的去噪版本，然后将此输出舍入为硬聚类。我们提供了一个通用的方法来证明该算法的性能保证，我们分析了该算法的背景下，亚高斯混合模型。我们还研究了估计高斯中心的基本限制，以比较我们的近似保证理论上最优的k-均值聚类解决方案。
2016-05-10 cs.DS cs.IT cs.LG
Copula-based mixture model identification for subgroup clustering with imaging applications
Univ Lyon（里昂大学）；Université Claude Bernard Lyon 1（里昂第一大学（克洛德·贝尔纳））；UJM-Saint Etienne（圣艾蒂安大学）；CNRS（法国国家科学研究中心）；Inserm（法国国家健康与医学研究院）；Institut Universitaire de France (IUF)（法国大学研究院）
针对典型混合模型单一成分分布假设的局限性，提出基于Copula的混合模型（CBMMs）及改进的GICE算法，通过迭代估计边缘分布、Copula形式与参数实现无监督识别，在合成数据、MNIST及心脏磁共振数据上验证了其有效性。
2025-02-12 cs.CV cs.LG
Deep Mixtures of Unigrams for uncovering Topics in Textual Data
University of Bologna（博洛尼亚大学）
Unigrams的混合是聚类文本数据的最简单和最有效的工具之一，因为它们假设与同一主题相关的文档具有相似的术语分布，自然由Multinomials描述。当分类任务特别具有挑战性时，例如当文档-术语矩阵是高维且极其稀疏时，更复合的表示可以提供对分组结构的更好的洞察。在这项工作中，我们开发了一个深度版本的Unigrams混合物，用于对具有大量术语的非常短的文档进行无监督分类，允许模型具有更深的潜在层;该提案是在贝叶斯框架中得出的。根据经验将Unigrams的深度混合的行为与其他传统的和最先进的方法的行为进行比较，即$k$ -具有余弦距离的平均值，$k$ -具有根据语义分析转换的数据的欧几里得距离的平均值，围绕中心点的分区，基于语义的转换数据的高斯混合，根据具有余弦相异度的Ward方法的分层聚类，潜在Dirichlet分配，通过期望最大化算法、谱聚类和亲和传播聚类估计的Unigrams的混合。性能的评价方面的正确分类率和调整后的兰德指数。仿真研究和实际数据分析证明，对此类数据进行深入聚类，可以大大提高分类精度。
2020-12-09 cs.LG stat.ML
Deep Clustering using Dirichlet Process Gaussian Mixture and Alpha Jensen-Shannon Divergence Clustering Loss
Institute of Microelectronics, A*Star Singapore（新加坡科技研究局微电子研究所）
针对现有深度聚类方法聚类损失非对称、需提前已知聚类数的缺陷，提出采用闭式Jensen-Shannon散度构建损失、结合狄利克雷过程高斯混合实现隐空间自适应聚类数选择的深度聚类方法，在多数据集上验证了有效性。
2024-12-12 cs.CV cs.LG
Clustering Time Series Data with Gaussian Mixture Embeddings in a Graph Autoencoder Framework
针对传统时间序列聚类难以捕捉复杂时间依赖的问题，提出变分混合图自编码器（VMGAE），利用图结构优势捕捉数据关系并生成高斯混合嵌入，实验表明其显著优于现有技术，在金融数据上的应用可为市场分析提供深度见解。
2024-11-25 cs.AI cs.LG eess.SP
