Finite Mixtures of Skewed Matrix Variate Distributions
聚类是在数据中发现底层组结构的过程。虽然基于混合模型的聚类是牢固建立在多变量的情况下，有一个矩阵变量分布的工作相对较少，没有与偏态矩阵变量分布的混合物的聚类。四个有限的混合物被认为是偏态矩阵变量分布。参数估计是使用期望条件最大化算法，并模拟和真实数据用于说明。
2018-03-05 stat.CO stat.ME
Mixture Model Averaging for Clustering
在基于混合模型的聚类应用程序中，通常会从一个系列中拟合多个模型，并仅报告“最佳”模型的聚类结果。在这种情况下，使用模型选择标准（最常见的是贝叶斯信息标准）来实现该最佳模型的选择。除了最好的模型之外，我们没有丢弃所有的模型，而是对在某种意义上接近最好的模型的多个模型进行平均，从而产生聚类结果的加权平均值。两个（加权）平均方法被认为是：平均组件的成员资格概率和平均模型。在这两种情况下，Occam窗口用于确定与最佳模型的接近程度，并且在贝叶斯模型平均范式内计算权重。在某些情况下，我们需要在平均之前合并成分;我们介绍了一种基于调整后的Rand指数合并混合成分的方法。我们的基于模型的聚类平均方法的有效性说明使用一个家庭的高斯混合模型的真实和模拟数据。
2014-07-26 stat.CO stat.ME stat.ML
Finite Mixtures of Multivariate Poisson-Log Normal Factor Analyzers for Clustering Count Data
本文提出基于协方差约束的多元泊松-对数正态因子分析器混合模型，用于计数数据聚类，通过变分推断估计参数，在RNA测序数据上表现良好。
2023-11-13 stat.CO stat.ME stat.ML
A Mixture of SDB Skew-t Factor Analyzers
斜t分布的混合为基于模型的聚类提供了灵活的选择。这类混合模型可以使用各种斜t分布公式来实现。在这里，我们开发了一个混合的偏-t因子分析模型的聚类高维数据使用灵活的配方的偏- t分布。我们的方法，它代表了一个灵活的偏t分布的混合因子分析模型的扩展，方法的细节，概述和详细的参数估计提供。聚类结果进行了说明和比较的一种替代配方的混合物的偏T因子分析模型以及混合物的因子分析模型。
2017-05-05 stat.CO stat.ME
A Latent Gaussian Mixture Model for Clustering Longitudinal Data
有限混合模型已经成为一种流行的聚类工具。在其他用途中，它们已被应用于聚类纵向数据和聚类高维数据。在后一种情况下，有时使用潜在高斯混合模型。虽然已经有大量的工作，聚类使用潜在变量和聚类纵向数据，分别，一直是一个缺乏的工作，结合这些功能。在扩展的混合公因子分析模型的基础上，提出了一种多时间点纵向数据聚类方法。期望最大化算法的一种变体用于参数估计，贝叶斯信息准则用于模型选择。使用真实和模拟数据的方法来说明。
2018-04-13 stat.ME stat.ML
Investigation of Parameter Uncertainty in Clustering Using a Gaussian Mixture Model Via Jackknife, Bootstrap and Weighted Likelihood Bootstrap
混合模型是基于模型聚类的一种常用工具。这种模型通常通过最大化似然的过程来拟合，例如期望最大化算法。在收敛时，通常报告极大似然参数估计值，但在大多数情况下，很少强调与这些估计值相关的变异性。这部分地可能是由于在模型拟合算法中不直接计算标准误的事实，或者因为不需要它们来拟合模型，或者因为它们难以计算。因此，基于模型的聚类中的标准误的检查通常被忽略。最近广泛使用的R包方法引入了bootstrap和加权似然bootstrap方法，以方便标准误估计。本文提供了一个经验比较这些方法（连同刀切法）产生的标准误和置信区间的混合参数。这些方法的说明和对比，在模拟研究和传统的老忠实的数据集和甲状腺数据集。
2019-07-22 stat.CO stat.ME
Clustering Multivariate Data using Factor Analytic Bayesian Mixtures with an Unknown Number of Components
最近的工作过拟合贝叶斯混合分布提供了一个强大的框架，使用潜在的高斯模型，类似于因子分析模型的聚类多变量数据。过拟合混合模型提供的灵活性产生了一个简单而有效的方法，以估计未知数量的集群和模型参数的马尔可夫链蒙特卡罗（MCMC）抽样。本研究通过考虑一组8个参数化扩展了这种方法，从而产生了每个聚类的协方差阵的简约表示。为了近似地从过拟合混合物的后验分布中采样，实现了与先前的并行回火方案相结合的Gibbs采样器。根据贝叶斯信息准则选择参数化和因子数。与标签切换相关的可识别性问题通过使用等价类代表算法对模拟输出进行后处理来处理。贡献的方法和软件进行了演示和比较，类似的模型估计使用期望最大化算法的模拟和真实的数据集。该软件可在https://CRAN.R-project.org/package=fabMix上在线获得。
2019-06-02 stat.CO stat.ME
Clustering, Classification, Discriminant Analysis, and Dimension Reduction via Generalized Hyperbolic Mixtures
介绍了一种利用聚类、分类或判别分析进行降维的方法。这种基于混合模型的方法是基于拟合广义双曲混合物在一个减少的子空间内的基于模型的聚类，分类，或判别分析的范例。通过考虑组均值和协方差的变化程度，得到了数据的简化子空间。子空间的成员通过原始数据的线性组合产生，并通过相关的特征值按重要性排序。观测值可以投影到子空间上，从而产生一组变量，这些变量捕获了大部分可用的聚类信息。广义双曲混合物的使用提供了一个强大的框架，能够处理倾斜的集群。虽然在许多应用领域中，对降维的需求越来越大，但作者最熟悉的是生物学应用，因此五个真实数据示例中有两个属于该领域。模拟数据也用于说明。本文介绍的方法可以被认为是最一般的这种方法，所以我们比较结果的三个特殊和限制的情况下。与几个成熟的技术比较，说明了其良好的性能。
2015-06-23 stat.CO stat.ME stat.ML
Copula Mixture Model for Dependency-seeking Clustering
University of Basel（巴塞尔大学）
我们引入了一个Copula混合模型，以执行依赖性寻求聚类时，从不同的数据源共现的样本。该模型利用Copula框架提供的巨大灵活性，将典型相关分析的混合物扩展到具有任意连续边缘密度的多变量数据。我们制定我们的模型作为一个非参数贝叶斯混合，同时提供有效的MCMC推理。对合成数据和真实数据的实验表明，Copula混合函数的灵活性大大提高了聚类结果的可解释性。
2012-06-27 cs.LG stat.ME stat.ML
Identifiability of Nonparametric Mixture Models and Bayes Optimal Clustering
出于数据聚类中的问题，我们建立一般条件下，家庭的非参数混合模型是可识别的，通过引入一个新的框架，涉及聚类过拟合\emph{parametric}（即误指定）混合模型。这些可识别性条件概括了文献中的现有条件，并且足够灵活以包括例如高斯混合物的混合物。在最近的文献中估计非参数混合，我们允许一般的非参数混合成分，而不是施加规律性假设的基础混合措施。作为我们的主要应用程序，我们将这些结果应用到基于分区的聚类，将贝叶斯最优分区的概念从经典的基于参数模型的聚类推广到非参数设置。此外，这个框架是建设性的，使它产生一个实用的算法学习识别的混合物，这是通过几个例子说明了真实的数据。在分析中的关键概念设备是凸的，度量几何的概率测度的度量空间和连接到Wasserstein收敛的混合措施。其结果是一个灵活的框架，非参数聚类与正式的一致性保证。
2020-02-18 cs.AI cs.LG math.ST
Vine copula mixture models and clustering for non-Gaussian data
大多数有限混合模型的缺点是不允许组件内的非对称尾部依赖性，并且在聚类应用中不捕获非椭圆簇。由于藤蔓Copula是非常灵活的，在捕捉这些类型的依赖关系，我们提出了一种新的藤蔓Copula连续数据的混合模型。我们讨论了模型选择和参数估计问题，并进一步制定了一个新的基于模型的聚类算法。在聚类中使用藤连接允许聚类的形状和依赖结构的范围。我们的模拟实验说明了一个显着的增益时，聚类精度显着不对称的尾部依赖或/和非高斯利润的组件内存在。实际数据集的分析伴随着所提出的方法。我们表明，基于模型的聚类算法与藤蔓copula混合模型优于其他基于模型的聚类技术，特别是对非高斯多变量数据。
2021-09-08 stat.ME stat.ML
Variable selection for clustering with Gaussian mixture models: state of the art
University of Hasan 1st（哈桑一世大学）；University of Abdelmalek Essaâdi（阿卜杜勒马利克·埃萨迪大学）
混合模型已被广泛用于聚类中，由于其概率框架，其基础，然而，对于现代数据库，其特点是其规模大，这些模型的行为dispromisingly在设置模型，使必要的相关变量的选择，这种类型的聚类。在回顾了基于模型的聚类的基础知识之后，本文将研究基于模型的聚类的变量选择方法，并提出改进这些方法的机会。
2017-01-31 cs.LG stat.ML
Temporal Multinomial Mixture for Instance-Oriented Evolutionary Clustering
Korea Institute of Science and Technology Information（韩国科学技术信息研究院）；University of Lyon 2（里昂第二大学）
演化聚类的目的是捕捉集群的时间演化。这个问题在自然时间驱动的社交媒体数据的背景下尤为重要。在本文中，我们提出了一种新的基于概率模型的进化聚类技术。时间多项混合模型（TMM）是经典混合模型的扩展，它在时间平滑性的权衡下优化特征同现。我们的模型进行了评估，最近的两个案例研究意见聚合随着时间的推移。我们比较了四种不同的概率聚类模型，我们的建议在面向实例的聚类任务的优越性。
2016-01-11 cs.IR cs.LG stat.ML
Mixture Complexity and Its Application to Gradual Clustering Change Detection
The University of Tokyo（东京大学）
在使用有限混合模型的基于模型的聚类中，确定聚类的数量（聚类大小）是一个重大挑战。它曾经等于混合物成分的数量（混合物规模）;然而，在存在重叠或权重偏差的情况下，这可能无效。在这项研究中，我们提出了一个新的概念，称为混合物复杂性（MC）连续测量的集群大小的混合模型。它是从信息论的角度正式定义的，可以看作是一个自然的集群规模考虑重叠和权重偏差的扩展。随后，我们应用MC逐步聚类变化检测的问题。传统上，聚类变化被认为是突然的，由混合物大小或聚类大小的变化引起。同时，我们认为集群的变化是渐进的MC，它的好处是发现的变化更早，区分显着和不显着的变化。我们进一步证明了MC可以根据混合模型的层次结构进行分解，这有助于我们分析子结构的细节。
2020-07-15 cs.LG stat.ML
Mixture-Models: a one-stop Python Library for Model-based Clustering using various Mixture Models
School of Computing（计算机学院）；National University of Singapore（新加坡国立大学）
Mixture-Models是一个开源Python库，通过自动微分工具利用一阶/二阶优化例程拟合GMM及其变体，支持高维数据扩展，提供BIC等评估工具，并通过大规模模拟确定了最佳优化方法。
2024-02-08 cs.LG stat.CO
On spectral clustering under non-isotropic Gaussian mixture models
Kyushu University（九州大学）
研究在非各向同性高斯混合模型下谱聚类算法的误聚类概率，基于主成分得分符号划分数据，并在高维情况下证明聚类一致性。
2026-04-10 math.ST stat.TH
Dissimilarity Mixture Autoencoder for Deep Clustering
Universidad Nacional de Colombia（哥伦比亚国立大学）
相异性混合自动编码器（DMAE）是一种用于基于特征的聚类的神经网络模型，它包含灵活的相异性函数，可以集成到任何类型的深度学习架构中。它在内部表示一个相异性混合模型（DMM），该模型通过将概率重新解释为神经网络表示，将K均值、高斯混合模型或Bregman聚类等经典方法扩展到任何凸和可微相异性函数。DMAE可以与深度学习架构集成到端到端模型中，允许同时估计聚类和神经网络的参数。在图像和文本聚类基准数据集上进行了实验评估，结果表明DMAE在无监督分类精度和归一化互信息方面具有竞争力。DMAE实现的源代码可在https://github.com/juselara1/dmae上公开获得
2021-07-15 cs.CV cs.LG stat.ML
Mixture-of-Finite-Mixtures Wishart Model for Clustering Covariance Matrices with an Application to Brain Functional Connectivity
University of Notre Dame（圣母大学）
提出MFM-Wishart贝叶斯模型，结合威沙特混合分量与有限混合先验，实现协方差矩阵数据的聚类与簇数联合推断，并应用于婴儿睡眠功能连接聚类。
2026-11-03 stat.ME
Without Pain -- Clustering Categorical Data Using a Bayesian Mixture of Finite Mixtures of Latent Class Analysis Models
本文提出一种贝叶斯两层有限混合模型，用潜在类别分析近似簇分布，结合伸缩采样器和标签切换处理，实现对未知簇数多元分类数据的简约聚类，并在模拟和下背痛数据上验证了有效性。
2024-07-07 stat.ME
Clustering subgaussian mixtures by semidefinite programming
Air Force Institute of Technology（空军理工学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们介绍了一个无模型的松弛和轮算法的k-均值聚类的基础上半定松弛由于彭和魏。该算法将SDP输出解释为原始数据的去噪版本，然后将此输出舍入为硬聚类。我们提供了一个通用的方法来证明该算法的性能保证，我们分析了该算法的背景下，亚高斯混合模型。我们还研究了估计高斯中心的基本限制，以比较我们的近似保证理论上最优的k-均值聚类解决方案。
2016-05-10 cs.DS cs.IT cs.LG
Optimality of Spectral Clustering in the Gaussian Mixture Model
ETH Zürich（苏黎世联邦理工学院）；University of Pennsylvania（宾夕法尼亚大学）；Yale University（耶鲁大学）
谱聚类是对高维数据进行聚类的一种常用算法。它易于实现，计算效率高。尽管它的流行和成功的应用，它的理论特性还没有得到充分的理解。本文证明了在协协方差阵为各向同性的高斯混合模型中，当聚类数固定且信噪比足够大时，谱聚类是极小极大最优的.谱间隔条件在文献中被广泛假设来分析谱聚类。相反，这些条件是不需要建立本文的谱聚类的最优性。
2020-08-05 cs.LG math.SP math.ST
Recovery Guarantees for Kernel-based Clustering under Non-parametric Mixture Models
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Technical University of Munich（慕尼黑工业大学）
尽管基于内核的聚类无处不在，但令人惊讶的是，除了考虑数据生成过程中强结构假设的设置之外，几乎没有统计保证。在这项工作中，我们采取了一个步骤弥合这一差距，通过研究基于核的聚类算法的统计性能下的非参数混合模型。我们提供了必要和充分的可分性条件下，这些算法可以始终恢复底层的真实聚类。我们的分析为内核聚类方法提供了保证，而无需对组件分布的形式进行结构性假设。此外，我们建立了一个关键的等价基于核的数据聚类和基于核密度的聚类。这使我们能够为非参数混合模型的基于核的估计提供一致性保证。除了理论上的影响，这种联系可能具有实际意义，包括在聚类的背景下系统地选择高斯核的带宽。
2021-10-18 cs.LG stat.ML
Universal Lower Bounds and Optimal Rates: Achieving Minimax Clustering Error in Sub-Exponential Mixture Models
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Bilkent University（比尔肯特大学）
本文针对次指数混合模型，提出基于Chernoff散度的通用聚类误差下界，证明迭代算法可达最优速率，并验证Bregman硬聚类在指数族混合模型中的速率最优性。
2024-07-17 cs.LG math.ST stat.ML
The Informativeness of K -Means for Learning Mixture Models
National University of Singapore（新加坡国立大学）
混合模型的学习可以看作是一个聚类问题。事实上，给定从混合分布独立生成的数据样本，我们通常希望根据它们从哪个分量分布生成来找到样本的{ \it正确目标聚类}。对于聚类问题，从业者通常选择使用简单的$k$均值算法。$k$ -表示尝试找到{ \it最佳聚类}，以最小化每个点与其聚类中心之间的平方和距离。在本文中，我们考虑基本的（即，通过优化平方和距离获得的解决方案（聚类）的信息论）限制。特别是，我们提供了充分的条件，任何最佳的聚类和正确的目标聚类假设的数据样本是从混合球高斯分布生成的接近。我们也将我们的结果推广到对数凹分布。此外，我们还表明，在混合模型上类似甚至更弱的条件下，降维样本的任何最佳聚类也接近正确的目标聚类。这些结果提供了直观的信息$k$ -手段（有和没有降维）作为学习混合模型的算法。
2022-08-25 cs.IT cs.LG math.IT
Reliable Clustering of Bernoulli Mixture Models
Sharif University of Technology（谢里夫理工大学）
伯努利混合模型（Bernoulli Mixture Model，BMM）是具有独立维度的随机二进制向量的有限混合。聚类BMM数据的问题出现在各种现实世界的应用中，从群体遗传学到社交网络中的活动分析。在本文中，我们从理论的角度分析了集群的可集群性，当集群的数量是未知的。特别是，我们对模型的样本复杂度和维度规定了一组条件，以保证数据集的可能近似正确（PAC）可集群性。据我们所知，这些研究结果是第一个非渐近界的学习或聚类样本的复杂性。
2019-06-16 cs.IT cs.LG math.IT
Efficient mixture model for clustering of sparse high dimensional binary data
Jagiellonian University（雅盖隆大学）
在本文中，我们提出了一个混合模型，SparseMix，稀疏高维二进制数据的聚类，它连接基于模型的聚类和基于质心。每个组由一个代表和一个概率分布模型离这个代表的距离来描述。与基于EM算法的经典混合模型相比，SparseMix：-是专门为处理稀疏数据而设计的，-可以通过在线Hartigan优化算法有效地实现，-能够自动减少不必要的聚类。我们对各种类型的数据进行了广泛的实验研究，这证实了SparseMix构建的分区与相关方法相比具有更高的参考分组兼容性。此外，构造的代表往往更好地揭示数据的内部结构。
2017-07-11 cs.LG stat.ML
Posterior Regularization on Bayesian Hierarchical Mixture Clustering
Tencent（腾讯）；University College Dublin（都柏林大学学院）；Trinity College Dublin（都柏林圣三一学院）
针对贝叶斯层次混合聚类（BHMC）高层节点分离度弱的问题，提出对各层节点施加最大间隔约束的后验正则化方法，有效提升了BHMC模型的聚类分离效果。
2023-05-05 cs.AI cs.LG stat.ML
A clustering tool for nucleotide sequences using Laplacian Eigenmaps and Gaussian Mixture Models
我们提出了一个新的程序聚类核苷酸序列的基础上的“拉普拉斯特征映射”和高斯混合模型。然后将该建议应用于一组100个DNA序列，这些DNA序列来自扁形动物和线虫属物种的集合的经尿道编码的NADH脱氢酶3（ND3）基因。所得到的集群，然后示出与使用最大似然法计算的基因系统发育树是一致的。这种比较特别表明，由拉普拉斯特征映射与高斯混合模型相结合的方法产生的聚类与遗传学以及NCBI分类学是一致的。我们还为此过程开发了一个Python包，可以在线获得。
2016-10-26 math.ST q-bio.QM stat.TH
Strong Coresets for Hard and Soft Bregman Clustering with Applications to Exponential Family Mixtures
ETH Zurich（苏黎世联邦理工学院）
核心集是数据集的有效表示，使得在核心集上训练的模型与在原始数据集上训练的模型具有可证明的竞争力。因此，它们已成功地用于将聚类模型（如K-Means和高斯混合模型）扩展到大规模数据集。然而，到目前为止，算法和相应的理论通常是特定于每个聚类问题。我们提出了一个单一的，实用的算法来构建强coresets一大类的硬和软的聚类问题的基础上Bregman分歧。这一类包括硬聚类与流行的失真措施，如平方欧几里德距离，马哈拉诺比斯距离，KL发散和Itakura-Saito距离。由于Bregman分歧和指数族分布之间的双重关系，相应的软聚类问题与流行的混合模型直接相关。我们的理论结果进一步暗示了一个随机多项式时间近似方案的硬聚类。我们证明了所提出的算法的实用性，在实证评估。
2016-05-02 cs.LG stat.ML
Efficient Sparse Clustering of High-Dimensional Non-spherical Gaussian Mixtures
我们考虑在高维数据点的聚类问题，即当数据点的数量可能比维度的数量小小于。具体来说，我们考虑一个高斯混合模型（GMM）与非球形高斯分量，其中的集群区分只有几个相关的尺寸。我们提出的方法是一个最近的高斯混合模型和稀疏线性判别分析（LDA）的学习参数的方法相结合。除了聚类分配之外，该方法还返回与聚类相关的特征集的估计值。我们的研究结果表明，样本聚类的复杂性取决于相关的特征集的稀疏性，而只有缩放与周围的维度。此外，我们需要更温和的假设比现有的工作在高维聚类。特别是，我们不需要球形集群，也不需要沿相关维度的平均分离。
2014-06-09 math.ST stat.ML stat.TH
Optimal Clustering in Anisotropic Gaussian Mixture Models
University of Washington（华盛顿大学）；University of Pennsylvania（宾夕法尼亚大学）
本文研究了各向异性高斯混合模型下的聚类问题，其中来自不同聚类的协方差阵是未知的，并且不一定是相同的矩阵。我们刻画了信噪比对聚类中心和协方差阵的依赖性，并得到了聚类问题的极大极小下界。此外，我们提出了一个计算上可行的程序，并证明它达到了最佳的速度在几个迭代。所提出的方法是一种硬EM型算法，它也可以被看作是劳埃德算法的一个变体，该算法被调整到各向异性的协方差阵。
2021-01-18 cs.LG math.ST stat.ML
Clustering action potential spikes: Insights on the use of overfitted finite mixture models and Dirichlet process mixture models
细胞外记录动作电位的建模，或尖峰分选，是神经科学研究的一个丰富领域，其中潜变量模型经常被使用。两个这样的模型，过拟合有限混合模型（OFM）和Dirichlet过程混合模型（DPM）被认为是提供洞察复杂的，多变量的医疗数据的无监督聚类时，集群的数量是未知的。OFM和OFM以类似的分层方式构建，但它们基于不同的哲学，具有不同的基本假设。本研究探讨了这些差异如何影响穗排序的真实研究，多变量高斯位置-尺度混合模型的估计，在复杂的医疗数据所产生的共同困难的存在。结果提供的见解，让未来的分析师选择适合的情况和目标的研究问题的手的方法。
2016-02-05 stat.AP stat.ME
Spatial Clustering Regression of Count Value Data via Bayesian Mixture of Finite Mixtures
本文提出贝叶斯有限混合之混合空间聚类回归模型，利用 Markov 随机场先验识别 Poisson 回归系数的空间同质性，并辅以理论、MCMC 算法、模拟和佐治亚州数据验证。
2023-06-04 stat.AP stat.CO stat.ME
Clustering Data with Nonignorable Missingness using Semi-Parametric Mixture Models
我们关注的是聚类连续数据集受到不可分割的缺失。我们进行聚类与特定的半参数混合，在给定的组件的条件独立的假设下。混合模型用于聚类，而不是用于估计全部变量（观察到的和未观察到的）的密度，因此我们不需要对成分分布进行其他假设，也不需要指定缺失机制。估计是通过最大限度地扩大平滑的可能性，允许遗漏。这种优化是通过一个优化-最小化算法。我们通过数值实验说明了我们的方法的相关性。在温和的假设下，我们证明了模型的可识别性，定义了观测数据的分布和算法的单调性。我们还提出了一个扩展的混合类型的数据，我们说明了一个真正的数据集的情况下，这种新方法。
2021-07-16 stat.ME
Weighted likelihood mixture modeling and model based clustering
在这项工作中，开发了一种加权似然方法的稳健拟合的多元高斯成分的混合。已经提出了两种方法，分别由标准EM和CEM算法的适当修改驱动。在这两种技术中，M步骤通过针对降低离群值的权重的计算来增强。权重是基于皮尔逊残差源于强大的马氏型距离。基于拟合的混合模型，还可以定义用于鲁棒聚类和离群值检测的正式规则。所提出的方法的行为进行了研究，通过一些数值研究和实际数据的例子，在拟合和分类精度和离群值检测。
2018-11-08 stat.ME
Parsimonious Skew Mixture Models for Model-Based Clustering and Classification
在最近的工作中，已经探索了使用偏态分布的稳健混合建模方法以适应不对称数据。我们介绍了简约性的发展斜-T和斜-正常的类似物的流行的GPCM家庭，采用一个半正定矩阵的特征值分解。本文中开发的方法相比，现有的模型在无监督和半监督分类框架。参数估计采用期望最大化算法，模型选择采用贝叶斯信息准则。这些扩展的功效说明模拟和基准聚类数据集。
2013-02-10 stat.ME
Clustering consistency with Dirichlet process mixtures
Dirichlet过程混合模型是一种灵活的非参数模型，特别适合于密度估计和概率聚类。在这项工作中，我们研究的后验分布引起的Dirichlet过程的混合物作为样本量的增加，更具体地说，集中在一致性为未知数的集群时，观察到的数据是从一个有限的混合物。至关重要的是，我们考虑的情况下，事先放置在浓度参数的基础Dirichlet过程。文献中以前的研究结果表明，狄利克雷过程的混合物通常是不一致的集群的数量，如果浓度参数是固定的，数据来自有限的混合物。在这里，我们表明，如果浓度参数是适应在一个完全贝叶斯的方式，在实践中通常做的，可以实现集群的数量的一致性。我们的研究结果来自来自一类有限混合物的数据，温和的假设上的浓度参数和混合物的似然核的各种选择的先验。
2022-05-25 math.ST stat.ME stat.ML
A Hybrid Mixture Approach for Clustering and Characterizing Cancer Data
本文提出一种混合无矩阵计算方案，结合高斯混合模型与广义因子分析器，在高维生物医学数据中实现更快速且准确的聚类与特征刻画，并成功应用于乳腺癌类型识别和淋巴瘤亚型表征。
2025-07-18 q-bio.TO stat.AP stat.CO
Dendrogram of mixing measures: Hierarchical clustering and model selection for finite mixture models
本研究提出基于过拟合混合测度构建树状图的新方法，衔接层次聚类与混合建模，可在弱可识别条件下一致选成分数并获最优收敛速率，经模拟验证且可用于单细胞RNA分析。
2024-03-08 stat.ME stat.ML
An enriched mixture model for functional clustering
有越来越丰富的文献贝叶斯非参数模型聚类功能的观察。然而，大多数最近的建议依赖于无限维的特征，可能会导致过于复杂的集群解决方案。此外，虽然关于功能形状的先验知识通常是可用的，但其实际利用可能是一个困难的建模任务。受电子商务中的应用的启发，我们提出了一种新的丰富的Dirichlet混合模型的功能数据。我们的建议，同时结合功能约束的模型的复杂性。为了澄清潜在的分区机制，我们通过一个Pólya瓮计划的先验过程的特征。这些功能导致一个非常可解释的聚类方法相比，可用的技术。为了克服计算瓶颈，我们采用了一个易处理的后验推理变分贝叶斯近似。
2019-07-04 stat.AP stat.ME
Meta-learning representations for clustering with infinite Gaussian mixture models
NTT Communication Science Laboratories（NTT通信科学实验室）
为了获得更好的聚类性能，适当的表示至关重要。虽然已经提出了许多基于神经网络的度量学习方法，但它们并不直接训练神经网络来提高聚类性能。我们提出了一种元学习方法，训练神经网络获得表示，使聚类性能提高时，表示聚类的变分贝叶斯（VB）推理与无限高斯混合模型。所提出的方法可以聚类看不见的未标记的数据使用知识元学习与标记的数据是从未标记的数据不同。对于目标函数，我们提出了一个连续的近似调整兰德指数（ARI），我们可以评估软聚类分配的聚类性能。由于近似的ARI和VB推理过程是可微的，我们可以通过VB推理过程反向传播目标函数来训练神经网络。通过使用文本和图像数据集的实验，我们证明了我们提出的方法具有更高的调整后的Rand指数比现有的方法。
2021-03-01 cs.LG stat.ML
Infinite mixtures of multivariate normal-inverse Gaussian distributions for clustering of skewed data
多变量正态逆高斯（MNIG）分布的混合可以用于对表现出偏态和重尾等特征的数据进行聚类。然而，对于聚类分析，使用传统的有限混合模型框架，或者组分的数量需要是已知的$a$ - $priori$，或者需要在导出可能数量的组分的范围的结果之后使用某种模型选择标准来估计$a$ - $posteriori$。然而，不同的模型选择标准有时会导致不同数量的组件产生不确定性。在这里，一个无限混合模型框架，也被称为狄利克雷过程混合模型，提出了混合MNIG分布。该狄利克雷过程混合物模型方法允许组分数量从1到$\infty$（实际上从1到$N$）自由增长或衰减，并且组分数量与贝叶斯框架中的参数估计值一起推断，从而减轻了对模型选择标准的需求。我们提供了真实的数据应用程序与基准数据集，以及一个小的模拟实验，与其他现有的模型进行比较。所提出的方法提供了竞争力的聚类结果，其他聚类方法的模拟和真实的数据和参数恢复说明使用模拟研究。
2020-05-11 stat.ME
Clustering and Semi-Supervised Classification for Clickstream Data via Mixture Models
有限混合模型用于无监督学习已经有一段时间了，它们在半监督范式中的使用变得越来越普遍。点击流数据是需要特别关注的各种新兴数据类型之一，因为目前可用的统计学习方法非常缺乏。一阶连续时间马尔可夫模型的混合引入点击流数据的无监督和半监督学习。这种方法假设连续时间，这将其与现有的基于混合模型的方法区分开来;实际上，这允许考虑每个用户在每个网页上花费的时间量。该方法进行评估，并比较离散时间的方法，使用模拟和真实数据。
2020-12-16 stat.ME stat.ML
A sparse negative binomial mixture model for clustering RNA-seq count data
MD Anderson Cancer Center（MD安德森癌症中心）；University of Pittsburgh（匹兹堡大学）；University of Maryland（马里兰大学）
对于现代小n大p数据，变量选择聚类是一项具有挑战性的关键任务。基于稀疏高斯混合模型或稀疏K均值的现有方法提供了连续数据的解决方案。随着RNA-seq技术的流行和缺乏用于聚类的计数数据建模，当前的实践是将计数表达数据归一化为连续测量并应用具有高斯假设的现有模型。在本文中，我们开发了一个负二项混合模型与lasso或融合lasso基因正则化聚类样本（小n）与高维基因特征（大p）。采用期望最大化算法和贝叶斯信息准则进行推理，确定整定参数。使用广泛的模拟和大鼠脑和乳腺癌研究中的两个真实转录组应用将该方法与现有方法进行比较。结果表明，所提出的计数数据模型在聚类精度，特征选择和生物学解释的途径优越的性能。
2020-04-25 cs.LG stat.ML
From here to infinity - sparse finite versus Dirichlet process mixtures in model-based clustering
在基于模型的聚类中，混合模型用于将数据点分组到聚类中。Malsiner Walli等人（2016）为高斯混合引入的一个有用概念是稀疏有限混合，其中具有$K$分量的混合物的权重分布的先验分布以这样的方式选择，即数据中的聚类数量先验是随机的，并且允许以高概率小于$K$。然后从数据中推断出聚类的数量。本文在稀疏有限混合模型的背景下作出了以下贡献。首先，它说明了稀疏有限混合的概念是非常通用的，很容易扩展到聚类各种类型的非高斯数据，特别是离散数据和连续的多元数据所产生的非高斯集群。其次，稀疏有限的混合物相比，狄利克雷过程的混合物就其能力，以确定集群的数量。对于这两种模型类别，考虑了用于确定权重分布的参数的随机超先验。通过适当的匹配这些先验，它表明，这种超先验的选择是远比稀疏有限混合物或Dirichlet过程的混合物被考虑的集群解决方案的影响。
2018-08-22 stat.ME
A Novel Multi-view Mixture Model Framework for Longitudinal Clustering with Application to ANCA-Associated Vasculitis
School of Computer Science and Statistics, Trinity College Dublin（都柏林三一学院计算机科学与统计学院）；ADAPT Center（ADAPT中心）；German Research Centre for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；Trinity Kidney Centre, Trinity College Dublin（都柏林三一学院肾脏病中心）
本文提出一种多视图混合模型，整合静态基线协变量和纵向生物标志物轨迹，通过神经普通微分方程建模时间模式，利用EM算法和稀疏性诱导log惩罚进行训练，发现抗中性粒细胞胞浆抗体相关血管炎患者中的异质亚组。
2026-04-02 q-bio.QM stat.ME
Autoregressive Mixture Models for Serial Correlation Clustering of Time Series Data
将时间序列聚类到相似的组中可以通过组合相似时间序列上的信息来改进模型。虽然有一个发达的机构的文献聚类的时间序列，这些方法往往会产生集群独立的模型训练，这可能会导致穷人的模型拟合。我们提出了一种新的分布式方法，同时集群和适合自回归模型组相似的个人。我们应用Wishart混合模型，以便在对相应的自协方差矩阵建模的同时对个体进行聚类。拟合的Wishart尺度矩阵通过Yule-Walker方程映射到聚类水平的自回归系数，拟合稳健的简约自回归混合模型。这种方法是能够辨别差异的基础自相关变化的时间序列的设置与大型异构数据集。我们证明了我们的集群成员估计量、系数的渐近分布的一致性，并通过模拟以及拟合COVID-19预测模型将我们的方法与竞争方法进行比较。
2022-01-16 stat.ME
Estimation of Non-Normalized Mixture Models and Clustering Using Deep Representation
The University of Tokyo（东京大学）；University College London（伦敦大学学院）；University of Helsinki（赫尔辛基大学）
我们开发了一个通用的方法来估计有限的混合非归一化模型。这里，非归一化模型被定义为具有难以处理的归一化常数的参数分布。现有的方法估计非归一化模型，而不计算归一化常数不适用于混合模型，因为它们包含一个以上的棘手的归一化常数。所提出的方法是通过扩展噪声对比估计（NCE），估计非归一化模型之间的观测数据和一些人为产生的噪声进行区分。我们还提出了一个扩展的NCE与多个噪声分布。然后，基于观察，传统的分类学习与神经网络是隐含地假设一个指数族作为一个生成模型，我们介绍了一种方法，通过估计一个指数族中的分布的有限混合聚类未标记的数据。该混合模型的估计是通过建议的NCE扩展来实现的，其中神经网络的训练数据被用作噪声。因此，所提出的方法提供了一种能够利用深度表示的概率原则聚类方法。使用深度神经网络进行图像聚类的应用给出了有希望的结果。
2018-05-19 cs.LG stat.ML
Dynamic Clustering Algorithms via Small-Variance Analysis of Markov Chain Mixture Models
贝叶斯非参数是一类概率模型，其中模型大小是从数据中推断出来的。最近开发的一种方法在这一领域是小方差渐近分析，数学技术推导学习算法，捕捉贝叶斯非参数推理算法的灵活性，但更简单的实现和计算成本较低。过去关于贝叶斯非参数推理算法的小方差分析的工作只考虑了在单个静态数据集上训练的批处理模型，这些模型无法捕获数据潜在结构中的时间演变。这项工作提出了一个小方差分析的最大后验滤波问题的随时间变化的混合模型与马尔可夫依赖结构，捕捉时间演变的集群内的数据集。两个聚类算法的分析结果：D-Means，线性可分离的，球形集群的迭代聚类算法;和SD-均值，一个谱聚类算法，来自一个内核化，放松版本的聚类问题。实验结果表明，使用D-Means和SD-Means在计算成本和聚类精度方面优于当代聚类算法。
2017-07-26 stat.ML
Quantum Clustering and Gaussian Mixtures
混合高斯分布是k-means的软版本，被认为是最先进的聚类算法。它被广泛用于计算机视觉中选择类别，例如，颜色、质地和形状。在该算法中，每个类由高斯分布描述，由其均值和协方差定义。数据由这些高斯分布的加权和描述。受物理学中量子干涉的启发，我们提出了一种新的方法。而不是直接建模每个类分布，我们建模类波函数，使其幅度平方是类高斯分布。然后，我们混合类波函数以创建混合波函数。最终的混合分布是混合波函数的幅度平方。结果，我们观察到量子类干涉现象，不存在于高斯混合模型。我们证明了量子方法在估计的各个方面都优于高斯混合方法。它提供了所有分布参数的更准确的估计，波动小得多，它也更强大的高斯假设的数据变形。我们说明了我们的颜色分割方法作为一个示例应用程序。
2016-12-29 cs.CV stat.ML
Bayesian clustering of high-dimensional data via latent repulsive mixtures
针对高维数据聚类难题，提出基于排斥点过程先验的潜在得分混合模型，实现同时降维与聚类，在模型误设下更稳健且优于标准方法。
2024-06-01 stat.ME
Mixed data Deep Gaussian Mixture Model: A clustering model for mixed datasets
CNRS（法国国家科学研究中心）；Centrale Marseille（马赛中央理工学院）；Aix-Marseille Univ.（艾克斯-马赛大学）；Univ Lyon（里昂大学）；UCBL（里昂第一大学）；Univ. of Bologna（博洛尼亚大学）
聚类混合数据提出了许多挑战，固有的非常异构的性质的变量。尽管存在这种异质性，聚类算法应该能够从变量中提取有区别的信息，以便设计组。在这项工作中，我们介绍了一种多层架构的基于模型的聚类方法称为混合深度高斯混合模型（MDGMM），可以被视为一种自动的方式来合并分别对连续和非连续数据进行聚类。这种架构是灵活的，可以适应混合以及连续或非连续数据。在这个意义上，我们推广了广义线性潜变量模型和深度高斯混合模型。我们还设计了一个新的初始化策略和一个数据驱动的方法，选择最佳规格的模型和最佳数量的集群为一个给定的数据集“上飞”。此外，我们的模型提供了连续的低维表示的数据，这可以是一个有用的工具，可视化混合数据集。最后，我们验证了我们的方法的性能比较其结果与国家的最先进的混合数据聚类模型在几个常用的数据集。
2021-03-10 cs.LG stat.ML
Clustering of time-course gene expression profiles using normal mixture models with AR(1) random effects
可以周期性地表达诸如酵母细胞周期数据的时程基因表达数据。为了对这些数据进行聚类，已经发现目前使用的周期性基因表达的傅立叶级数近似不足以对时间过程数据的复杂性进行建模，部分原因是它们忽略了随时间的表达测量之间的依赖性和基因表达谱之间的相关性。我们进一步研究了文献中可用模型的优点和局限性，并提出了一种新的AR（1）随机效应的混合模型用于时间过程基因表达谱的聚类。一些模拟和真实的例子来证明所提出的模型的实用性。
2011-09-22 stat.ME
Clustering Via Finite Nonparametric ICA Mixture Models
我们提出了一个扩展的非参数多元有限混合模型，放弃了标准的条件独立性假设，并纳入独立成分分析（ICA）结构代替。我们制定了一个目标函数的惩罚平滑Kullback-Leibler距离，并介绍了非线性平滑优化最小化独立成分分析（NSMM-ICA）算法来优化这个函数和估计模型参数。我们已经实现了这个算法的一个实用版本，它利用FastICA算法，在R包icamix。我们使用无监督学习和图像处理中的几个应用程序来说明这种新方法。
2018-09-10 math.ST stat.ME stat.TH
