Singularity structures and impacts on parameter estimation in finite mixtures of distributions
统计模型的奇异性是指模型参数空间的元素，它使相应的Fisher信息矩阵退化。对于这些点，最大似然估计和标准贝叶斯过程等估计技术不允许根$n$参数收敛速率。提出了有限混合物参数空间奇异性结构的一般识别框架，并研究了有限混合物的奇异性结构对紧参数空间上极大似然估计的极小极大下界和收敛速度的影响.我们的研究明确了模型奇异性，参数估计收敛速度和极小极大下界之间的深层联系，以及连续分布混合物的参数空间的代数几何。应用该理论建立了有限混合斜正态分布的参数估计的具体收敛速度。这种丰富且日益流行的混合模型表现出一系列非常复杂的渐进行为，迄今为止文献中尚未报道过这些行为。
2019-07-23 math.ST stat.ML stat.TH
Optimality of Spectral Clustering in the Gaussian Mixture Model
ETH Zürich（苏黎世联邦理工学院）；University of Pennsylvania（宾夕法尼亚大学）；Yale University（耶鲁大学）
谱聚类是对高维数据进行聚类的一种常用算法。它易于实现，计算效率高。尽管它的流行和成功的应用，它的理论特性还没有得到充分的理解。本文证明了在协协方差阵为各向同性的高斯混合模型中，当聚类数固定且信噪比足够大时，谱聚类是极小极大最优的.谱间隔条件在文献中被广泛假设来分析谱聚类。相反，这些条件是不需要建立本文的谱聚类的最优性。
2020-08-05 cs.LG math.SP math.ST
Clustering subgaussian mixtures by semidefinite programming
Air Force Institute of Technology（空军理工学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们介绍了一个无模型的松弛和轮算法的k-均值聚类的基础上半定松弛由于彭和魏。该算法将SDP输出解释为原始数据的去噪版本，然后将此输出舍入为硬聚类。我们提供了一个通用的方法来证明该算法的性能保证，我们分析了该算法的背景下，亚高斯混合模型。我们还研究了估计高斯中心的基本限制，以比较我们的近似保证理论上最优的k-均值聚类解决方案。
2016-05-10 cs.DS cs.IT cs.LG
Variable selection for clustering with Gaussian mixture models: state of the art
University of Hasan 1st（哈桑一世大学）；University of Abdelmalek Essaâdi（阿卜杜勒马利克·埃萨迪大学）
混合模型已被广泛用于聚类中，由于其概率框架，其基础，然而，对于现代数据库，其特点是其规模大，这些模型的行为dispromisingly在设置模型，使必要的相关变量的选择，这种类型的聚类。在回顾了基于模型的聚类的基础知识之后，本文将研究基于模型的聚类的变量选择方法，并提出改进这些方法的机会。
2017-01-31 cs.LG stat.ML
Curse of Heterogeneity: Computational Barriers in Sparse Mixture Models and Phase Retrieval
Princeton University（普林斯顿大学）；Northwestern University（西北大学）
我们研究了高维异质数据分析中统计精度和计算易处理性之间的基本权衡。作为实例，我们研究了稀疏高斯混合模型、稀疏线性回归混合模型和稀疏相位恢复模型。对于这些模型，我们利用一个基于甲骨文的计算模型，建立无故障的计算可行的极大极小下界，量化的最小信号强度的存在所需的任何算法，这是计算上易于处理和统计上准确的。我们的分析表明，计算上可行的极大极小风险和经典的存在显着的差距。这些差距量化了我们在数据异质性存在的情况下为实现计算易处理性而必须付出的统计代价。我们的研究结果涵盖了检测，估计，支持恢复和聚类的问题，此外，解决了Azizyan et al.（2013，2015）; Verzelen and Arias-Castro（2017）; Cai et al.（2016）的几个问题。有趣的是，我们的研究结果揭示了异构数据分析中一个新的但反直觉的现象，即更多的数据可能会导致更低的计算复杂性。
2018-08-21 cs.IT cs.LG math.IT
Mixture Complexity and Its Application to Gradual Clustering Change Detection
The University of Tokyo（东京大学）
在使用有限混合模型的基于模型的聚类中，确定聚类的数量（聚类大小）是一个重大挑战。它曾经等于混合物成分的数量（混合物规模）;然而，在存在重叠或权重偏差的情况下，这可能无效。在这项研究中，我们提出了一个新的概念，称为混合物复杂性（MC）连续测量的集群大小的混合模型。它是从信息论的角度正式定义的，可以看作是一个自然的集群规模考虑重叠和权重偏差的扩展。随后，我们应用MC逐步聚类变化检测的问题。传统上，聚类变化被认为是突然的，由混合物大小或聚类大小的变化引起。同时，我们认为集群的变化是渐进的MC，它的好处是发现的变化更早，区分显着和不显着的变化。我们进一步证明了MC可以根据混合模型的层次结构进行分解，这有助于我们分析子结构的细节。
2020-07-15 cs.LG stat.ML
On spectral clustering under non-isotropic Gaussian mixture models
Kyushu University（九州大学）
研究在非各向同性高斯混合模型下谱聚类算法的误聚类概率，基于主成分得分符号划分数据，并在高维情况下证明聚类一致性。
2026-04-10 math.ST stat.TH
Copula Mixture Model for Dependency-seeking Clustering
University of Basel（巴塞尔大学）
我们引入了一个Copula混合模型，以执行依赖性寻求聚类时，从不同的数据源共现的样本。该模型利用Copula框架提供的巨大灵活性，将典型相关分析的混合物扩展到具有任意连续边缘密度的多变量数据。我们制定我们的模型作为一个非参数贝叶斯混合，同时提供有效的MCMC推理。对合成数据和真实数据的实验表明，Copula混合函数的灵活性大大提高了聚类结果的可解释性。
2012-06-27 cs.LG stat.ME stat.ML
Clustering consistency with Dirichlet process mixtures
Dirichlet过程混合模型是一种灵活的非参数模型，特别适合于密度估计和概率聚类。在这项工作中，我们研究的后验分布引起的Dirichlet过程的混合物作为样本量的增加，更具体地说，集中在一致性为未知数的集群时，观察到的数据是从一个有限的混合物。至关重要的是，我们考虑的情况下，事先放置在浓度参数的基础Dirichlet过程。文献中以前的研究结果表明，狄利克雷过程的混合物通常是不一致的集群的数量，如果浓度参数是固定的，数据来自有限的混合物。在这里，我们表明，如果浓度参数是适应在一个完全贝叶斯的方式，在实践中通常做的，可以实现集群的数量的一致性。我们的研究结果来自来自一类有限混合物的数据，温和的假设上的浓度参数和混合物的似然核的各种选择的先验。
2022-05-25 math.ST stat.ME stat.ML
Adaptive Mean Estimation in the Hidden Markov sub-Gaussian Mixture Model
针对标签具隐马尔可夫依赖的高维二元次高斯混合模型，本文提出极小极大最优且自适应的中心估计程序，将速率改进至 $\sqrt{δd/n}+d/n$。
2024-06-18 math.ST stat.ML stat.TH
Recovery Guarantees for Kernel-based Clustering under Non-parametric Mixture Models
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Technical University of Munich（慕尼黑工业大学）
尽管基于内核的聚类无处不在，但令人惊讶的是，除了考虑数据生成过程中强结构假设的设置之外，几乎没有统计保证。在这项工作中，我们采取了一个步骤弥合这一差距，通过研究基于核的聚类算法的统计性能下的非参数混合模型。我们提供了必要和充分的可分性条件下，这些算法可以始终恢复底层的真实聚类。我们的分析为内核聚类方法提供了保证，而无需对组件分布的形式进行结构性假设。此外，我们建立了一个关键的等价基于核的数据聚类和基于核密度的聚类。这使我们能够为非参数混合模型的基于核的估计提供一致性保证。除了理论上的影响，这种联系可能具有实际意义，包括在聚类的背景下系统地选择高斯核的带宽。
2021-10-18 cs.LG stat.ML
Mixture model modal clustering
两种最广泛的基于密度的聚类方法肯定是混合模型聚类和模态聚类。在混合模型方法中，密度被表示为混合物，并且聚类与不同的混合物组分相关联。在模态聚类中，聚类被理解为高密度区域，它们被低密度区域彼此分开，因此它们与密度模式周围的某些区域密切相关。如果真实密度确实在假设的混合密度类中，则混合模型聚类允许仔细检查比模态聚类更微妙的情况。然而，当以非参数方式使用混合建模时，利用混合密度筛的密集性来近似任何密度，则聚类和混合组分之间的对应关系可能变得可疑。在本文中，我们介绍了两种方法，采用模态聚类的观点后，混合模型拟合。提供了许多例子来说明，混合建模也可以用于聚类在非参数意义上，只要集群被理解为域的密度模式的吸引力。
2016-09-15 stat.CO stat.ML
Temporal Multinomial Mixture for Instance-Oriented Evolutionary Clustering
Korea Institute of Science and Technology Information（韩国科学技术信息研究院）；University of Lyon 2（里昂第二大学）
演化聚类的目的是捕捉集群的时间演化。这个问题在自然时间驱动的社交媒体数据的背景下尤为重要。在本文中，我们提出了一种新的基于概率模型的进化聚类技术。时间多项混合模型（TMM）是经典混合模型的扩展，它在时间平滑性的权衡下优化特征同现。我们的模型进行了评估，最近的两个案例研究意见聚合随着时间的推移。我们比较了四种不同的概率聚类模型，我们的建议在面向实例的聚类任务的优越性。
2016-01-11 cs.IR cs.LG stat.ML
Efficient mixture model for clustering of sparse high dimensional binary data
Jagiellonian University（雅盖隆大学）
在本文中，我们提出了一个混合模型，SparseMix，稀疏高维二进制数据的聚类，它连接基于模型的聚类和基于质心。每个组由一个代表和一个概率分布模型离这个代表的距离来描述。与基于EM算法的经典混合模型相比，SparseMix：-是专门为处理稀疏数据而设计的，-可以通过在线Hartigan优化算法有效地实现，-能够自动减少不必要的聚类。我们对各种类型的数据进行了广泛的实验研究，这证实了SparseMix构建的分区与相关方法相比具有更高的参考分组兼容性。此外，构造的代表往往更好地揭示数据的内部结构。
2017-07-11 cs.LG stat.ML
Strong Coresets for Hard and Soft Bregman Clustering with Applications to Exponential Family Mixtures
ETH Zurich（苏黎世联邦理工学院）
核心集是数据集的有效表示，使得在核心集上训练的模型与在原始数据集上训练的模型具有可证明的竞争力。因此，它们已成功地用于将聚类模型（如K-Means和高斯混合模型）扩展到大规模数据集。然而，到目前为止，算法和相应的理论通常是特定于每个聚类问题。我们提出了一个单一的，实用的算法来构建强coresets一大类的硬和软的聚类问题的基础上Bregman分歧。这一类包括硬聚类与流行的失真措施，如平方欧几里德距离，马哈拉诺比斯距离，KL发散和Itakura-Saito距离。由于Bregman分歧和指数族分布之间的双重关系，相应的软聚类问题与流行的混合模型直接相关。我们的理论结果进一步暗示了一个随机多项式时间近似方案的硬聚类。我们证明了所提出的算法的实用性，在实证评估。
2016-05-02 cs.LG stat.ML
Dissimilarity Mixture Autoencoder for Deep Clustering
Universidad Nacional de Colombia（哥伦比亚国立大学）
相异性混合自动编码器（DMAE）是一种用于基于特征的聚类的神经网络模型，它包含灵活的相异性函数，可以集成到任何类型的深度学习架构中。它在内部表示一个相异性混合模型（DMM），该模型通过将概率重新解释为神经网络表示，将K均值、高斯混合模型或Bregman聚类等经典方法扩展到任何凸和可微相异性函数。DMAE可以与深度学习架构集成到端到端模型中，允许同时估计聚类和神经网络的参数。在图像和文本聚类基准数据集上进行了实验评估，结果表明DMAE在无监督分类精度和归一化互信息方面具有竞争力。DMAE实现的源代码可在https://github.com/juselara1/dmae上公开获得
2021-07-15 cs.CV cs.LG stat.ML
A Latent Gaussian Mixture Model for Clustering Longitudinal Data
有限混合模型已经成为一种流行的聚类工具。在其他用途中，它们已被应用于聚类纵向数据和聚类高维数据。在后一种情况下，有时使用潜在高斯混合模型。虽然已经有大量的工作，聚类使用潜在变量和聚类纵向数据，分别，一直是一个缺乏的工作，结合这些功能。在扩展的混合公因子分析模型的基础上，提出了一种多时间点纵向数据聚类方法。期望最大化算法的一种变体用于参数估计，贝叶斯信息准则用于模型选择。使用真实和模拟数据的方法来说明。
2018-04-13 stat.ME stat.ML
Meta-learning representations for clustering with infinite Gaussian mixture models
NTT Communication Science Laboratories（NTT通信科学实验室）
为了获得更好的聚类性能，适当的表示至关重要。虽然已经提出了许多基于神经网络的度量学习方法，但它们并不直接训练神经网络来提高聚类性能。我们提出了一种元学习方法，训练神经网络获得表示，使聚类性能提高时，表示聚类的变分贝叶斯（VB）推理与无限高斯混合模型。所提出的方法可以聚类看不见的未标记的数据使用知识元学习与标记的数据是从未标记的数据不同。对于目标函数，我们提出了一个连续的近似调整兰德指数（ARI），我们可以评估软聚类分配的聚类性能。由于近似的ARI和VB推理过程是可微的，我们可以通过VB推理过程反向传播目标函数来训练神经网络。通过使用文本和图像数据集的实验，我们证明了我们提出的方法具有更高的调整后的Rand指数比现有的方法。
2021-03-01 cs.LG stat.ML
Posterior Regularization on Bayesian Hierarchical Mixture Clustering
Tencent（腾讯）；University College Dublin（都柏林大学学院）；Trinity College Dublin（都柏林圣三一学院）
针对贝叶斯层次混合聚类（BHMC）高层节点分离度弱的问题，提出对各层节点施加最大间隔约束的后验正则化方法，有效提升了BHMC模型的聚类分离效果。
2023-05-05 cs.AI cs.LG stat.ML
A clustering tool for nucleotide sequences using Laplacian Eigenmaps and Gaussian Mixture Models
我们提出了一个新的程序聚类核苷酸序列的基础上的“拉普拉斯特征映射”和高斯混合模型。然后将该建议应用于一组100个DNA序列，这些DNA序列来自扁形动物和线虫属物种的集合的经尿道编码的NADH脱氢酶3（ND3）基因。所得到的集群，然后示出与使用最大似然法计算的基因系统发育树是一致的。这种比较特别表明，由拉普拉斯特征映射与高斯混合模型相结合的方法产生的聚类与遗传学以及NCBI分类学是一致的。我们还为此过程开发了一个Python包，可以在线获得。
2016-10-26 math.ST q-bio.QM stat.TH
A sparse negative binomial mixture model for clustering RNA-seq count data
MD Anderson Cancer Center（MD安德森癌症中心）；University of Pittsburgh（匹兹堡大学）；University of Maryland（马里兰大学）
对于现代小n大p数据，变量选择聚类是一项具有挑战性的关键任务。基于稀疏高斯混合模型或稀疏K均值的现有方法提供了连续数据的解决方案。随着RNA-seq技术的流行和缺乏用于聚类的计数数据建模，当前的实践是将计数表达数据归一化为连续测量并应用具有高斯假设的现有模型。在本文中，我们开发了一个负二项混合模型与lasso或融合lasso基因正则化聚类样本（小n）与高维基因特征（大p）。采用期望最大化算法和贝叶斯信息准则进行推理，确定整定参数。使用广泛的模拟和大鼠脑和乳腺癌研究中的两个真实转录组应用将该方法与现有方法进行比较。结果表明，所提出的计数数据模型在聚类精度，特征选择和生物学解释的途径优越的性能。
2020-04-25 cs.LG stat.ML
Factor Adjusted Spectral Clustering for Mixture Models
针对强相关高维混合数据的聚类难题，本文提出因子调整谱聚类（FASC）算法，通过消除因子成分去噪以应对数据依赖，理论证明其误标率极低且计算高效，在传统谱聚类失效的场景中表现显著。
2024-08-22 math.ST stat.ME stat.ML
Estimation of Non-Normalized Mixture Models and Clustering Using Deep Representation
The University of Tokyo（东京大学）；University College London（伦敦大学学院）；University of Helsinki（赫尔辛基大学）
我们开发了一个通用的方法来估计有限的混合非归一化模型。这里，非归一化模型被定义为具有难以处理的归一化常数的参数分布。现有的方法估计非归一化模型，而不计算归一化常数不适用于混合模型，因为它们包含一个以上的棘手的归一化常数。所提出的方法是通过扩展噪声对比估计（NCE），估计非归一化模型之间的观测数据和一些人为产生的噪声进行区分。我们还提出了一个扩展的NCE与多个噪声分布。然后，基于观察，传统的分类学习与神经网络是隐含地假设一个指数族作为一个生成模型，我们介绍了一种方法，通过估计一个指数族中的分布的有限混合聚类未标记的数据。该混合模型的估计是通过建议的NCE扩展来实现的，其中神经网络的训练数据被用作噪声。因此，所提出的方法提供了一种能够利用深度表示的概率原则聚类方法。使用深度神经网络进行图像聚类的应用给出了有希望的结果。
2018-05-19 cs.LG stat.ML
Mixed data Deep Gaussian Mixture Model: A clustering model for mixed datasets
CNRS（法国国家科学研究中心）；Centrale Marseille（马赛中央理工学院）；Aix-Marseille Univ.（艾克斯-马赛大学）；Univ Lyon（里昂大学）；UCBL（里昂第一大学）；Univ. of Bologna（博洛尼亚大学）
聚类混合数据提出了许多挑战，固有的非常异构的性质的变量。尽管存在这种异质性，聚类算法应该能够从变量中提取有区别的信息，以便设计组。在这项工作中，我们介绍了一种多层架构的基于模型的聚类方法称为混合深度高斯混合模型（MDGMM），可以被视为一种自动的方式来合并分别对连续和非连续数据进行聚类。这种架构是灵活的，可以适应混合以及连续或非连续数据。在这个意义上，我们推广了广义线性潜变量模型和深度高斯混合模型。我们还设计了一个新的初始化策略和一个数据驱动的方法，选择最佳规格的模型和最佳数量的集群为一个给定的数据集“上飞”。此外，我们的模型提供了连续的低维表示的数据，这可以是一个有用的工具，可视化混合数据集。最后，我们验证了我们的方法的性能比较其结果与国家的最先进的混合数据聚类模型在几个常用的数据集。
2021-03-10 cs.LG stat.ML
Vine copula mixture models and clustering for non-Gaussian data
大多数有限混合模型的缺点是不允许组件内的非对称尾部依赖性，并且在聚类应用中不捕获非椭圆簇。由于藤蔓Copula是非常灵活的，在捕捉这些类型的依赖关系，我们提出了一种新的藤蔓Copula连续数据的混合模型。我们讨论了模型选择和参数估计问题，并进一步制定了一个新的基于模型的聚类算法。在聚类中使用藤连接允许聚类的形状和依赖结构的范围。我们的模拟实验说明了一个显着的增益时，聚类精度显着不对称的尾部依赖或/和非高斯利润的组件内存在。实际数据集的分析伴随着所提出的方法。我们表明，基于模型的聚类算法与藤蔓copula混合模型优于其他基于模型的聚类技术，特别是对非高斯多变量数据。
2021-09-08 stat.ME stat.ML
Reliable Clustering of Bernoulli Mixture Models
Sharif University of Technology（谢里夫理工大学）
伯努利混合模型（Bernoulli Mixture Model，BMM）是具有独立维度的随机二进制向量的有限混合。聚类BMM数据的问题出现在各种现实世界的应用中，从群体遗传学到社交网络中的活动分析。在本文中，我们从理论的角度分析了集群的可集群性，当集群的数量是未知的。特别是，我们对模型的样本复杂度和维度规定了一组条件，以保证数据集的可能近似正确（PAC）可集群性。据我们所知，这些研究结果是第一个非渐近界的学习或聚类样本的复杂性。
2019-06-16 cs.IT cs.LG math.IT
EGMM: an Evidential Version of the Gaussian Mixture Model for Clustering
Northwestern Polytechnical University（西北工业大学）；Université de Technologie de Compiègne（贡比涅技术大学）；Institut Universitaire de France（法国大学研究院）
高斯混合模型（GMM）为聚类提供了一个简单而有原则的框架，具有适合统计推断的属性。在本文中，我们提出了一种新的基于模型的聚类算法，称为EGMM（证据GMM），在理论框架的信念函数，以更好地表征集群成员的不确定性。用一个质量函数来表示每个对象的聚类隶属度，提出了由所需聚类幂集上的分量组成的证据高斯混合分布来建模整个数据集。EGMM中的参数估计由一个专门设计的期望最大化（EM）算法。还提供了允许自动确定簇的适当数目的有效性指数。建议EGMM是简单的经典GMM，但可以产生一个更丰富的证据分区所考虑的数据集。合成数据集和真实数据集的实验结果表明，该EGMM算法的性能优于其他代表性的聚类算法。最后，将其应用于多模态脑图像分割，证明了该方法的优越性。
2022-09-07 cs.LG stat.ML
Sharp optimal recovery in the two-component Gaussian Mixture Model
本文研究了二分量高斯混合模型中的聚类问题，其中对某些$Δ>0$，中心被$2Δ$分离。我们的特点是精确的相变阈值，由$$ \barΔ_n^{2} = σ^{2}\left(1 + \sqrt{1+\frac{2p}{n\log{n}}} \right)\log{n}, $$，这样的社区的完美恢复是可能的概率高，如果$Δ\ge(1+\varepsilon)\bar Δ_n$，和不可能的，如果$Δ\le (1-\varepsilon)\bar Δ_n$为任何常数$\varepsilon>0$。这意味着在临界尺寸$p^{*}=n\log{n}$处存在弯头效应。给出了相应的极大极小Hamming风险的一个非渐近下界，改进了已有的结果.据我们所知，这是捕获对$p$的正确依赖的第一个下界。我们还提出了一个最佳的，有效的和自适应的过程，是最小最大速率最优。当样本容量趋于无穷大时，率最优性的渐近性更强。我们的程序是基于劳埃德的迭代初始化的谱方法的一个变种，一个流行的聚类算法，广泛使用的从业者。数值研究证实了我们的理论发现。
2020-07-03 math.ST stat.TH
The Informativeness of K -Means for Learning Mixture Models
National University of Singapore（新加坡国立大学）
混合模型的学习可以看作是一个聚类问题。事实上，给定从混合分布独立生成的数据样本，我们通常希望根据它们从哪个分量分布生成来找到样本的{ \it正确目标聚类}。对于聚类问题，从业者通常选择使用简单的$k$均值算法。$k$ -表示尝试找到{ \it最佳聚类}，以最小化每个点与其聚类中心之间的平方和距离。在本文中，我们考虑基本的（即，通过优化平方和距离获得的解决方案（聚类）的信息论）限制。特别是，我们提供了充分的条件，任何最佳的聚类和正确的目标聚类假设的数据样本是从混合球高斯分布生成的接近。我们也将我们的结果推广到对数凹分布。此外，我们还表明，在混合模型上类似甚至更弱的条件下，降维样本的任何最佳聚类也接近正确的目标聚类。这些结果提供了直观的信息$k$ -手段（有和没有降维）作为学习混合模型的算法。
2022-08-25 cs.IT cs.LG math.IT
Dynamic Clustering via Asymptotics of the Dependent Dirichlet Process Mixture
MIT（麻省理工学院）；Duke University（杜克大学）；Ohio State University（俄亥俄州立大学）
本文提出了一种新的算法，依赖Dirichlet过程混合模型（DDPMM）的基础上，包含一个未知数量的演变集群的批量顺序数据的聚类。该算法是通过对DDPMM的Gibbs采样算法进行低方差渐近分析而得出的，并提供了一个具有类似于k-均值算法的收敛保证的硬聚类。移动高斯聚类合成测试和真实ADS-B飞机轨迹数据测试的实证结果表明，该算法需要的计算时间比当代概率和硬聚类算法少几个数量级，同时提供更高的精度检查数据集。
2013-11-01 cs.LG stat.ML
Clustering and Model Selection via Penalized Likelihood for Different-sized Categorical Data Vectors
在这项研究中，我们考虑无监督聚类的分类向量，可以使用混合不同的大小。我们使用似然最大化来估计底层混合模型的参数，并使用惩罚技术来选择混合成分的数量。无论真实的分布，产生的数据，我们表明，一个明确的惩罚，已知的乘法常数，导致一个非渐近的甲骨文不等式与Kullback-Leibler分歧的两侧的不等式。这一理论结果说明了一个文档聚类应用程序。为此，提出了一种新的鲁棒期望最大化算法来估计最能代表不同主题的混合参数。斜率算法用于校准惩罚并选择多个聚类。
2017-09-07 math.ST stat.TH
Clustering Via Finite Nonparametric ICA Mixture Models
我们提出了一个扩展的非参数多元有限混合模型，放弃了标准的条件独立性假设，并纳入独立成分分析（ICA）结构代替。我们制定了一个目标函数的惩罚平滑Kullback-Leibler距离，并介绍了非线性平滑优化最小化独立成分分析（NSMM-ICA）算法来优化这个函数和估计模型参数。我们已经实现了这个算法的一个实用版本，它利用FastICA算法，在R包icamix。我们使用无监督学习和图像处理中的几个应用程序来说明这种新方法。
2018-09-10 math.ST stat.ME stat.TH
Dirichlet Process Parsimonious Mixtures for clustering
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；CNRS（法国国家科学研究中心）；Aix Marseille Université（艾克斯-马赛大学）；ENSAM（法国国立高等工程技术学校）；Université de Toulon（土伦大学）
简约高斯混合模型，它利用一个特征值分解的组协方差阵的高斯混合，已显示出他们的成功，特别是在聚类分析。它们的估计一般通过极大似然估计进行，并且也从参数贝叶斯前景考虑。我们提出了新的Dirichlet过程简约混合物（DPPM），代表这些简约高斯混合模型的贝叶斯非参数制定。所提出的DPPM模型是贝叶斯非参数简约混合模型，允许同时推断模型参数，混合物组分的最佳数量和最佳简约混合物结构的数据。我们开发了一个吉布斯抽样技术的最大后验概率（MAP）估计的DPMM模型，并提供了一个贝叶斯模型选择框架，通过使用贝叶斯因子。我们将它们应用于聚类模拟数据和真实数据集，并将它们与标准的简约混合模型进行比较。所得到的结果突出了所提出的非参数简约混合模型作为一个很好的非参数替代参数简约模型的有效性。
2018-10-17 cs.LG stat.ME stat.ML
Mixture Model Averaging for Clustering
在基于混合模型的聚类应用程序中，通常会从一个系列中拟合多个模型，并仅报告“最佳”模型的聚类结果。在这种情况下，使用模型选择标准（最常见的是贝叶斯信息标准）来实现该最佳模型的选择。除了最好的模型之外，我们没有丢弃所有的模型，而是对在某种意义上接近最好的模型的多个模型进行平均，从而产生聚类结果的加权平均值。两个（加权）平均方法被认为是：平均组件的成员资格概率和平均模型。在这两种情况下，Occam窗口用于确定与最佳模型的接近程度，并且在贝叶斯模型平均范式内计算权重。在某些情况下，我们需要在平均之前合并成分;我们介绍了一种基于调整后的Rand指数合并混合成分的方法。我们的基于模型的聚类平均方法的有效性说明使用一个家庭的高斯混合模型的真实和模拟数据。
2014-07-26 stat.CO stat.ME stat.ML
Distributed Bayesian clustering using finite mixture of mixtures
在许多现代应用中，人们对分析无法轻松跨计算机移动或加载到单个计算机上的存储器中的庞大数据集感兴趣。在这种情况下，对集群感兴趣是非常普遍的。现有的分布式聚类算法大多是基于距离或密度的，没有可能性规范，排除了正式的统计推断的可能性。基于模型的聚类允许统计推断，但分布式推断的研究强调非参数贝叶斯混合模型的有限混合模型。为了填补这一空白，我们引入了一个几乎并行的算法下的贝叶斯过拟合有限混合高斯混合，我们的分布式贝叶斯聚类（DIB-C）的聚类。DIB-C可以灵活地适应各种形状的数据集（例如倾斜或多模态）。随着数据的随机划分和分布，我们首先运行马尔可夫链蒙特卡罗在一个非常并行的方式来获得本地聚类绘制，然后细化跨工人的最终聚类估计的基础上的任何损失函数的空间分区。DIB-C还可以估计聚类密度，快速对新对象进行分类，并提供后验预测分布。仿真研究和实际数据的应用表明，优越的性能DIB-C的鲁棒性和计算效率。
2020-05-14 stat.CO stat.ME
Finite Mixtures of Multivariate Poisson-Log Normal Factor Analyzers for Clustering Count Data
本文提出基于协方差约束的多元泊松-对数正态因子分析器混合模型，用于计数数据聚类，通过变分推断估计参数，在RNA测序数据上表现良好。
2023-11-13 stat.CO stat.ME stat.ML
A Bayesian approach for clustering skewed data using mixtures of multivariate normal-inverse Gaussian distributions
非高斯混合模型在基于混合模型的聚类中得到越来越多的关注，特别是在处理具有偏态和重尾等特征的数据时。在这里，这样的混合分布，基于多元正态逆高斯（MNIG）分布。对于混合模型的参数估计，采用基于Gibbs抽样的贝叶斯方法，提出了一种模拟单变量广义逆高斯随机变量和矩阵广义逆高斯随机矩阵的新方法.该算法将被应用到模拟和真实数据。通过仿真研究和实际数据分析，我们表明参数恢复，我们的方法提供了竞争力的聚类结果相比，其他聚类方法。
2020-05-06 stat.CO
Dendrogram of mixing measures: Hierarchical clustering and model selection for finite mixture models
本研究提出基于过拟合混合测度构建树状图的新方法，衔接层次聚类与混合建模，可在弱可识别条件下一致选成分数并获最优收敛速率，经模拟验证且可用于单细胞RNA分析。
2024-03-08 stat.ME stat.ML
MAP Clustering under the Gaussian Mixture Model via Mixed Integer Nonlinear Optimization
Department of Mathematics and Statistics, University of Massachusetts Amherst, USA（马萨诸塞大学阿默斯特分校数学与统计系，美国）；Data Science Program, Worcester Polytechnic Institute, USA（伍斯特理工学院数据科学项目，美国）；Data Science Program and Foisie Business School, Worcester Polytechnic Institute, USA（伍斯特理工学院数据科学项目和福西商学院，美国）
提出了一种求解高斯混合模型下最大后验（MAP）聚类问题的全局优化方法，该方法将MAP聚类问题转化为混合整数非线性优化问题（MINLP），既能容纳边约束，又能保持MAP聚类问题的组合结构.我们近似MINLP通过混合整数二次规划（MIQP）变换，提高计算方面，同时保证$ε$ -全局最优。我们的方法的一个重要好处是显式量化的次优的程度，通过最优差距，途中找到全局最优的MAP聚类。数值实验比较我们的方法与其他方法表明，我们的方法找到了一个更好的解决方案比标准的聚类方法。最后，我们聚类一个真正的乳腺癌基因表达数据集，将内在的亚型信息，诱导的约束大大提高了计算性能，并产生更多的连贯性和生物逻辑上有意义的集群。
2020-03-17 cs.LG math.OC stat.ME
Dynamic Clustering Algorithms via Small-Variance Analysis of Markov Chain Mixture Models
贝叶斯非参数是一类概率模型，其中模型大小是从数据中推断出来的。最近开发的一种方法在这一领域是小方差渐近分析，数学技术推导学习算法，捕捉贝叶斯非参数推理算法的灵活性，但更简单的实现和计算成本较低。过去关于贝叶斯非参数推理算法的小方差分析的工作只考虑了在单个静态数据集上训练的批处理模型，这些模型无法捕获数据潜在结构中的时间演变。这项工作提出了一个小方差分析的最大后验滤波问题的随时间变化的混合模型与马尔可夫依赖结构，捕捉时间演变的集群内的数据集。两个聚类算法的分析结果：D-Means，线性可分离的，球形集群的迭代聚类算法;和SD-均值，一个谱聚类算法，来自一个内核化，放松版本的聚类问题。实验结果表明，使用D-Means和SD-Means在计算成本和聚类精度方面优于当代聚类算法。
2017-07-26 stat.ML
Clustering and Semi-Supervised Classification for Clickstream Data via Mixture Models
有限混合模型用于无监督学习已经有一段时间了，它们在半监督范式中的使用变得越来越普遍。点击流数据是需要特别关注的各种新兴数据类型之一，因为目前可用的统计学习方法非常缺乏。一阶连续时间马尔可夫模型的混合引入点击流数据的无监督和半监督学习。这种方法假设连续时间，这将其与现有的基于混合模型的方法区分开来;实际上，这允许考虑每个用户在每个网页上花费的时间量。该方法进行评估，并比较离散时间的方法，使用模拟和真实数据。
2020-12-16 stat.ME stat.ML
Clustering Change Sign Detection by Fusing Mixture Complexity
School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术学院）
本文提出MC融合方法扩展混合复杂度，以准确捕捉逐渐变化过渡期间的聚类结构，并据此检测聚类结构变化，在人工和真实数据集上验证了其有效性。
2024-03-27 cs.IT cs.LG math.IT
Mixture-of-Finite-Mixtures Wishart Model for Clustering Covariance Matrices with an Application to Brain Functional Connectivity
University of Notre Dame（圣母大学）
提出MFM-Wishart贝叶斯模型，结合威沙特混合分量与有限混合先验，实现协方差矩阵数据的聚类与簇数联合推断，并应用于婴儿睡眠功能连接聚类。
2026-11-03 stat.ME
Without Pain -- Clustering Categorical Data Using a Bayesian Mixture of Finite Mixtures of Latent Class Analysis Models
本文提出一种贝叶斯两层有限混合模型，用潜在类别分析近似簇分布，结合伸缩采样器和标签切换处理，实现对未知簇数多元分类数据的简约聚类，并在模拟和下背痛数据上验证了有效性。
2024-07-07 stat.ME
Quantum Clustering and Gaussian Mixtures
混合高斯分布是k-means的软版本，被认为是最先进的聚类算法。它被广泛用于计算机视觉中选择类别，例如，颜色、质地和形状。在该算法中，每个类由高斯分布描述，由其均值和协方差定义。数据由这些高斯分布的加权和描述。受物理学中量子干涉的启发，我们提出了一种新的方法。而不是直接建模每个类分布，我们建模类波函数，使其幅度平方是类高斯分布。然后，我们混合类波函数以创建混合波函数。最终的混合分布是混合波函数的幅度平方。结果，我们观察到量子类干涉现象，不存在于高斯混合模型。我们证明了量子方法在估计的各个方面都优于高斯混合方法。它提供了所有分布参数的更准确的估计，波动小得多，它也更强大的高斯假设的数据变形。我们说明了我们的颜色分割方法作为一个示例应用程序。
2016-12-29 cs.CV stat.ML
Clustering, Classification, Discriminant Analysis, and Dimension Reduction via Generalized Hyperbolic Mixtures
介绍了一种利用聚类、分类或判别分析进行降维的方法。这种基于混合模型的方法是基于拟合广义双曲混合物在一个减少的子空间内的基于模型的聚类，分类，或判别分析的范例。通过考虑组均值和协方差的变化程度，得到了数据的简化子空间。子空间的成员通过原始数据的线性组合产生，并通过相关的特征值按重要性排序。观测值可以投影到子空间上，从而产生一组变量，这些变量捕获了大部分可用的聚类信息。广义双曲混合物的使用提供了一个强大的框架，能够处理倾斜的集群。虽然在许多应用领域中，对降维的需求越来越大，但作者最熟悉的是生物学应用，因此五个真实数据示例中有两个属于该领域。模拟数据也用于说明。本文介绍的方法可以被认为是最一般的这种方法，所以我们比较结果的三个特殊和限制的情况下。与几个成熟的技术比较，说明了其良好的性能。
2015-06-23 stat.CO stat.ME stat.ML
Flexible Clustering for High-Dimensional Data via Mixtures of Joint Generalized Hyperbolic Models
针对高维数据的非对称聚类问题，提出了一种联合广义双曲分布的混合聚类算法。MJGHD方法考虑了集群特定的子空间，从而限制了要估计的参数的数量，同时也便于结果的可视化。可识别性进行了讨论，并概述了多周期ECM算法的参数估计。MJGHD的方法说明了两个真实的数据集，贝叶斯信息准则用于模型选择。
2018-01-06 stat.CO stat.ME
Longitudinal Data Clustering with a Copula Kernel Mixture Model
针对高自相关多元纵向数据，提出Copula核混合模型（CKMM），结合高斯Copula与核密度估计，用广义EM算法估计参数，在模拟和真实数据上优于动态时间规整K均值和潜在增长模型。
2023-07-21 stat.CO stat.ME
Faster Functional Clustering via Gaussian Mixture Models
函数式数据分析（FDA）是处理无限维数据的一种重要的现代范式。FDA的一个重要任务是基于模型的聚类，它通过亚群结构将功能群体组织成组。基于模型的函数数据聚类最常见的方法是通过线性混合效应模型的混合。混合线性混合效应模型（MLMM）的方法需要一个计算密集型算法的估计。我们提供了一种新的高斯混合模型（GMM）表征基于模型的聚类问题。我们证明，这种基于GMM的表征允许通过R编程环境中的可用函数应用时，提高MLMM方法的计算速度。GMM方法的理论考虑进行了讨论。一个例子应用到一个数据集的基础上钙成像在幼体斑马鱼的大脑中提供了一个演示的有效性更简单的GMM方法。
2017-02-13 stat.CO
DIMM-SC: A Dirichlet mixture model for clustering droplet-based single cell transcriptomic data
动机：单细胞转录组测序（scRNA-Seq）已成为以单细胞分辨率研究细胞和分子过程的革命性工具。在现有技术中，最近开发的基于液滴的平台能够有效地并行处理数千个单细胞，并使用唯一分子标识符（UMI）直接计数转录本拷贝。尽管技术进步，统计方法和计算工具仍然缺乏分析基于液滴的scRNA-Seq数据。特别是，用于聚类大规模单细胞转录组学数据的基于模型的方法仍然未被探索。方法：我们开发了DIMM-SC，这是一种Dirichlet混合模型，用于聚类基于液滴的单细胞转录组数据。这种方法明确地对来自scRNA-Seq实验的UMI计数数据进行建模，并通过Dirichlet混合先验来表征不同细胞簇之间的变化。采用期望最大化算法进行参数推断。结果如下：我们进行了全面的模拟评估DIMM-SC，并将其与现有的聚类方法，如K-means，CellTree和Seurat进行比较。此外，我们分析了具有已知聚类标签的公共scRNA-Seq数据集和来自系统性硬化症研究的具有先前生物学知识的内部scRNA-Seq数据集，以基准测试和验证DIMM-SC。模拟研究和实际数据应用都表明，与其他现有聚类方法相比，DIMM-SC实现了显著提高的聚类准确性和更低的聚类变异性。更重要的是，作为一种基于模型的方法，DIMM-SC能够量化每个单细胞的聚类不确定性，促进严格的统计推断和生物学解释，这通常是现有聚类方法无法实现的。
2017-04-06 q-bio.QM stat.ML
Gaussian Mixture Clustering Using Relative Tests of Fit
我们考虑基于高斯混合模型（GARCH）的显著性检验的聚类。我们的出发点是Liu等人（2008）开发的SigClust方法，该方法引入了基于k-means目标（k = 2）的测试，以决定是否应将数据分为两个聚类。当递归应用时，该测试产生一种具有显著性保证的层次聚类方法。我们研究了这种方法的极限分布和功率在一些例子中，并表明，有大的参数空间的权力是低的区域。然后，我们介绍了一个新的测试的基础上的想法相对适合。与以前的工作不同，我们测试了高斯混合模型是否比单一高斯模型更适合，而不假设任何一个模型都是正确的。所提出的测试有一个简单的临界值，并提供可证明的错误控制。我们的测试的一个版本提供了精确的，有限的样本控制的第一类错误。我们展示了我们的测试可以用于分层聚类以及在一个连续的方式为模型选择。最后，我们进行了广泛的模拟研究和基因表达数据集的聚类分析。
2019-10-07 stat.ME stat.ML
Minimax Theory for High-dimensional Gaussian Mixtures with Sparse Mean Separation
Carnegie-Mellon University（卡内基梅隆大学）
虽然有几篇论文研究了学习高斯混合的计算和统计有效方法，但其统计性能的精确极小极大边界以及高维设置中的基本限制还没有得到很好的理解。在本文中，我们提供了精确的信息理论界的聚类精度和样本的复杂性学习的混合物的两个各向同性高斯在高维下小的平均分离。如果存在确定平均分离的相关维度的稀疏子集，则样本复杂度仅取决于相关维度的数量和平均分离，并且可以通过简单的计算高效的过程来实现。我们的研究结果提供了最近的方法，结合特征选择和聚类的理论基础的第一步。
2013-06-09 cs.LG math.ST stat.ML
Clustering action potential spikes: Insights on the use of overfitted finite mixture models and Dirichlet process mixture models
细胞外记录动作电位的建模，或尖峰分选，是神经科学研究的一个丰富领域，其中潜变量模型经常被使用。两个这样的模型，过拟合有限混合模型（OFM）和Dirichlet过程混合模型（DPM）被认为是提供洞察复杂的，多变量的医疗数据的无监督聚类时，集群的数量是未知的。OFM和OFM以类似的分层方式构建，但它们基于不同的哲学，具有不同的基本假设。本研究探讨了这些差异如何影响穗排序的真实研究，多变量高斯位置-尺度混合模型的估计，在复杂的医疗数据所产生的共同困难的存在。结果提供的见解，让未来的分析师选择适合的情况和目标的研究问题的手的方法。
2016-02-05 stat.AP stat.ME
Clustering Data with Nonignorable Missingness using Semi-Parametric Mixture Models
我们关注的是聚类连续数据集受到不可分割的缺失。我们进行聚类与特定的半参数混合，在给定的组件的条件独立的假设下。混合模型用于聚类，而不是用于估计全部变量（观察到的和未观察到的）的密度，因此我们不需要对成分分布进行其他假设，也不需要指定缺失机制。估计是通过最大限度地扩大平滑的可能性，允许遗漏。这种优化是通过一个优化-最小化算法。我们通过数值实验说明了我们的方法的相关性。在温和的假设下，我们证明了模型的可识别性，定义了观测数据的分布和算法的单调性。我们还提出了一个扩展的混合类型的数据，我们说明了一个真正的数据集的情况下，这种新方法。
2021-07-16 stat.ME
