Mixtures of Generalized Hyperbolic Distributions and Mixtures of Skew-t Distributions for Model-Based Clustering with Incomplete Data
不完整数据的鲁棒聚类是一个重要的课题，因为在许多实际情况下，真实数据集是重尾的，不对称的，和/或具有任意模式的缺失观测。基于广义双曲分布的混合及其极限情况，多元斜t分布的混合，给出了灵活的基于模型的聚类方法和算法。本文提出了一种解析可行的期望最大化算法，用于随机缺失混合模型的参数估计和缺失值填补。所提出的方法进行了研究，通过不同比例的合成缺失值的模拟研究，并说明使用一个真正的数据集。并与传统的混合广义双曲型分布的拟合结果进行了比较，采用均值插补方法填补了缺失数据。
2018-08-19 stat.CO stat.ME
Model-based clustering and classification using mixtures of multivariate skewed power exponential distributions
多元幂指数（MPE）分布的混合物的家庭已被引入，并显示出竞争力的聚类分析相比，其他椭圆混合物，包括高斯分布的混合物。在这里，我们提出了一个家庭的混合物的多元偏功率指数分布相结合的灵活性MPE分布的能力，模型偏度。这些混合物对正态性的变化更稳健，并且可以解释偏度、变化的尾部权重和数据的峰值。采用基于Stiefel流形上加速线搜索算法的最小化-最大化和最优化相结合的广义期望-最大化方法进行参数估计。这些混合在基于模型的聚类和分类框架中实现。模拟和基准数据都用于说明和比较其他混合物的家庭。
2023-01-20 stat.CO stat.ME
Semiparametric Mixtures of Regressions with Single-index for Model Based Clustering
在这篇文章中，我们提出了两类半参数单指标混合回归模型的基于模型的聚类。与许多只能应用于低维预测因子的半参数/非参数混合回归模型不同，新的半参数模型可以很容易地将高维预测因子纳入非参数分量。所提出的模型是非常一般的，许多最近提出的半参数/非参数混合回归模型确实是新模型的特殊情况。为了获得参数和非参数部分的最优收敛速度，提出了反拟合估计和相应的修正期望最大化算法。我们建立了所提出的两个模型的可辨识性结果，并研究了所提出的估计程序的渐近性质。仿真研究表明，所提出的模型的有限样本性能。通过新模型对NBA数据的应用，揭示了一些新的发现。
2017-08-11 stat.ME
A Multivariate Poisson-Log Normal Mixture Model for Clustering Transcriptome Sequencing Data
在高通量测序研究中经常遇到离散和偏斜性质的高维数据。分析网络本身或这类数据中基因之间的相互作用仍然存在许多挑战。由于数据可视化技术对于更高维度变得繁琐，并且当数据中同质子组之间没有明确的分离时无法令人信服，聚类分析提供了一种直观的替代方案。在这种情况下，应用基于混合模型的聚类的目的是发现共表达的基因组，这可以揭示基因产物的生物学功能和途径。提出了一种用于高通量转录组测序数据聚类的多变量Poisson-Log Normal（MPLN）混合模型。MPLN模型能够拟合广泛的相关性和过度分散情况，并且是对RNA测序研究的多变量计数数据建模的理想选择。通过马尔可夫链蒙特卡罗期望最大化算法（MCMCM-EM）进行参数估计，并使用信息准则进行模型选择。
2017-11-30 q-bio.QM stat.CO stat.ME
Variable selection for clustering with Gaussian mixture models: state of the art
University of Hasan 1st（哈桑一世大学）；University of Abdelmalek Essaâdi（阿卜杜勒马利克·埃萨迪大学）
混合模型已被广泛用于聚类中，由于其概率框架，其基础，然而，对于现代数据库，其特点是其规模大，这些模型的行为dispromisingly在设置模型，使必要的相关变量的选择，这种类型的聚类。在回顾了基于模型的聚类的基础知识之后，本文将研究基于模型的聚类的变量选择方法，并提出改进这些方法的机会。
2017-01-31 cs.LG stat.ML
Mixture Complexity and Its Application to Gradual Clustering Change Detection
The University of Tokyo（东京大学）
在使用有限混合模型的基于模型的聚类中，确定聚类的数量（聚类大小）是一个重大挑战。它曾经等于混合物成分的数量（混合物规模）;然而，在存在重叠或权重偏差的情况下，这可能无效。在这项研究中，我们提出了一个新的概念，称为混合物复杂性（MC）连续测量的集群大小的混合模型。它是从信息论的角度正式定义的，可以看作是一个自然的集群规模考虑重叠和权重偏差的扩展。随后，我们应用MC逐步聚类变化检测的问题。传统上，聚类变化被认为是突然的，由混合物大小或聚类大小的变化引起。同时，我们认为集群的变化是渐进的MC，它的好处是发现的变化更早，区分显着和不显着的变化。我们进一步证明了MC可以根据混合模型的层次结构进行分解，这有助于我们分析子结构的细节。
2020-07-15 cs.LG stat.ML
A Bayesian Approach to Clustering via the Proper Bayesian Bootstrap: the Bayesian Bagged Clustering (BBC) algorithm
University of Pavia（帕维亚大学）
本文提出贝叶斯袋装聚类（BBC）算法，结合k-means先验引出与恰当贝叶斯自助法重采样的集成聚类思路，提升聚类的鲁棒性与可解释性，还可通过香农熵不确定性度量确定最优聚类数，模拟实验验证了其方法与实证优势。
2024-09-13 cs.LG stat.ML
Recovery Guarantees for Kernel-based Clustering under Non-parametric Mixture Models
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Technical University of Munich（慕尼黑工业大学）
尽管基于内核的聚类无处不在，但令人惊讶的是，除了考虑数据生成过程中强结构假设的设置之外，几乎没有统计保证。在这项工作中，我们采取了一个步骤弥合这一差距，通过研究基于核的聚类算法的统计性能下的非参数混合模型。我们提供了必要和充分的可分性条件下，这些算法可以始终恢复底层的真实聚类。我们的分析为内核聚类方法提供了保证，而无需对组件分布的形式进行结构性假设。此外，我们建立了一个关键的等价基于核的数据聚类和基于核密度的聚类。这使我们能够为非参数混合模型的基于核的估计提供一致性保证。除了理论上的影响，这种联系可能具有实际意义，包括在聚类的背景下系统地选择高斯核的带宽。
2021-10-18 cs.LG stat.ML
Clustering Mixtures of Discrete Distributions: A Note on Mitra's Algorithm
Princeton University（普林斯顿大学）
本文改进了Mitra算法在离散混合分布分类中的分析，通过将其调整为二部随机块模型，获得了比原算法更精细的分离条件。
2024-05-29 cs.LG stat.ML
Gaussian mixture modeling of nodes in Bayesian network according to maximal parental cliques
Zhejiang University（浙江大学）
本文用混合高斯模型代替线性高斯模型来拟合贝叶斯网络中每个节点的分布。我们将解释为什么以及如何在贝叶斯网络中使用高斯混合模型。同时，本文提出了一种新的混合模型优化方法--双重迭代算法，该算法结合了期望最大化算法和梯度下降算法，在混合模型的贝叶斯网络上有较好的性能。在实验中，我们在实际数据集上对不同结构的学习算法生成的不同图进行了高斯混合模型和优化算法的测试，并给出了每个实验的细节。
2022-05-16 cs.LG stat.ML
Recovery of a mixture of Gaussians by sum-of-norms clustering
University of Waterloo（滑铁卢大学）
范数和聚类是一种使用凸优化将$\mathbb{R}^d$中的$n$点分配给$K$聚类$1\le K\le n$的方法。最近，Panahi et al.证明了在样本数不太大的限制下，范数和聚类保证恢复高斯混合。本说明的目的是取消这一限制，即，结果表明，具有相等权重的范数和聚类可以恢复高斯混合，即使样本数趋于无穷大。我们的证明依赖于一个有趣的特征集群计算的范数和聚类，是由Chiquet等人的凝聚猜想的证明内开发的。因为我们相信这个定理有独立的利益，我们重申和重新证明Chiquet等人。结果在此。
2019-02-19 cs.LG stat.ML
Efficient mixture model for clustering of sparse high dimensional binary data
Jagiellonian University（雅盖隆大学）
在本文中，我们提出了一个混合模型，SparseMix，稀疏高维二进制数据的聚类，它连接基于模型的聚类和基于质心。每个组由一个代表和一个概率分布模型离这个代表的距离来描述。与基于EM算法的经典混合模型相比，SparseMix：-是专门为处理稀疏数据而设计的，-可以通过在线Hartigan优化算法有效地实现，-能够自动减少不必要的聚类。我们对各种类型的数据进行了广泛的实验研究，这证实了SparseMix构建的分区与相关方法相比具有更高的参考分组兼容性。此外，构造的代表往往更好地揭示数据的内部结构。
2017-07-11 cs.LG stat.ML
Strong Coresets for Hard and Soft Bregman Clustering with Applications to Exponential Family Mixtures
ETH Zurich（苏黎世联邦理工学院）
核心集是数据集的有效表示，使得在核心集上训练的模型与在原始数据集上训练的模型具有可证明的竞争力。因此，它们已成功地用于将聚类模型（如K-Means和高斯混合模型）扩展到大规模数据集。然而，到目前为止，算法和相应的理论通常是特定于每个聚类问题。我们提出了一个单一的，实用的算法来构建强coresets一大类的硬和软的聚类问题的基础上Bregman分歧。这一类包括硬聚类与流行的失真措施，如平方欧几里德距离，马哈拉诺比斯距离，KL发散和Itakura-Saito距离。由于Bregman分歧和指数族分布之间的双重关系，相应的软聚类问题与流行的混合模型直接相关。我们的理论结果进一步暗示了一个随机多项式时间近似方案的硬聚类。我们证明了所提出的算法的实用性，在实证评估。
2016-05-02 cs.LG stat.ML
Clustering Survival Data using a Mixture of Non-parametric Experts
Federal University of Rio de Janeiro（里约热内卢联邦大学）
SurvMixClust将聚类与生存函数预测统一于非参数专家混合框架，在五个公共数据集上生成平衡且生存曲线不同的聚类，优于聚类基线，预测精度媲美非聚类生存模型。
2024-05-24 cs.LG stat.ML
Multivariate normal mixture modeling, clustering and classification with the rebmix package
rebmix包提供了用于随机单变量和多变量有限混合模型生成、估计、聚类和分类的R函数。本文研究了方差-协方差阵不受限的多元正态混合模型.我们的目标是显示如何生成数据集的已知数量的组件，观察和组件参数的数量，如何估计组件的数量，组件的权重和组件参数，以及如何预测集群和类成员的基础上训练的模型的REBMIX算法。附带的绘图，引导和其他功能的包处理，太。为了演示的目的，本文研究了一个方差-协方差阵不受限制的多元正态数据集。
2018-01-26 cs.LG stat.ML
Deep Unsupervised Clustering Using Mixture of Autoencoders
University of Michigan（密歇根大学）；Technicolor（特艺集团）；Adobe（Adobe公司）
无监督聚类是机器学习中最基本的挑战之一。一个流行的假设是，数据是从一个低维非线性流形的联合产生的，因此聚类的方法是识别和分离这些流形。在本文中，我们提出了一种新的方法来解决这个问题，通过使用混合的自动编码器。我们的模型由两部分组成：1）一个自动编码器的集合，其中每个自动编码器学习一组相似对象的底层流形，以及2）混合分配神经网络，它将来自自动编码器的级联潜在向量作为输入并推断集群上的分布。通过联合优化这两个部分，我们同时将数据分配给集群并学习每个集群的底层流形。
2017-12-26 cs.LG stat.ML
Meta-learning representations for clustering with infinite Gaussian mixture models
NTT Communication Science Laboratories（NTT通信科学实验室）
为了获得更好的聚类性能，适当的表示至关重要。虽然已经提出了许多基于神经网络的度量学习方法，但它们并不直接训练神经网络来提高聚类性能。我们提出了一种元学习方法，训练神经网络获得表示，使聚类性能提高时，表示聚类的变分贝叶斯（VB）推理与无限高斯混合模型。所提出的方法可以聚类看不见的未标记的数据使用知识元学习与标记的数据是从未标记的数据不同。对于目标函数，我们提出了一个连续的近似调整兰德指数（ARI），我们可以评估软聚类分配的聚类性能。由于近似的ARI和VB推理过程是可微的，我们可以通过VB推理过程反向传播目标函数来训练神经网络。通过使用文本和图像数据集的实验，我们证明了我们提出的方法具有更高的调整后的Rand指数比现有的方法。
2021-03-01 cs.LG stat.ML
Deep Clustering Based on a Mixture of Autoencoders
Bar-Ilan University（巴伊兰大学）
在本文中，我们提出了一种基于深度自动编码器混合的深度自动编码器混合聚类（DAMIC）算法，其中每个聚类由一个自动编码器表示。聚类网络将数据转换到另一个空间，然后选择其中一个聚类。接下来，使用与该聚类相关联的自动编码器来重建数据点。聚类算法联合学习非线性数据表示和自编码器集合。通过最小化混合自编码器网络的重构损失来寻找最优聚类。与其他深度聚类算法不同，不需要正则化项来避免数据崩溃到单个点。我们对图像和文本语料库的实验评估表明，国家的最先进的方法显着改善。
2019-03-27 cs.AI cs.LG stat.ML
Asymptotic Bayes risk of semi-supervised multitask learning on Gaussian mixture
GIPSA-lab（GIPSA实验室）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；LIG-lab（LIG实验室）
本文考虑高斯混合模型（GMM）上的半监督多任务学习。使用统计物理学的方法，我们计算的渐近贝叶斯风险的每个任务在大数据集的制度在高维，从中我们分析的任务相似性在学习中的作用和评估的性能增益时，任务一起学习，而不是分开。在监督的情况下，我们得到一个简单的算法，达到贝叶斯最优性能。
2023-03-03 cs.LG stat.ML
A sparse negative binomial mixture model for clustering RNA-seq count data
MD Anderson Cancer Center（MD安德森癌症中心）；University of Pittsburgh（匹兹堡大学）；University of Maryland（马里兰大学）
对于现代小n大p数据，变量选择聚类是一项具有挑战性的关键任务。基于稀疏高斯混合模型或稀疏K均值的现有方法提供了连续数据的解决方案。随着RNA-seq技术的流行和缺乏用于聚类的计数数据建模，当前的实践是将计数表达数据归一化为连续测量并应用具有高斯假设的现有模型。在本文中，我们开发了一个负二项混合模型与lasso或融合lasso基因正则化聚类样本（小n）与高维基因特征（大p）。采用期望最大化算法和贝叶斯信息准则进行推理，确定整定参数。使用广泛的模拟和大鼠脑和乳腺癌研究中的两个真实转录组应用将该方法与现有方法进行比较。结果表明，所提出的计数数据模型在聚类精度，特征选择和生物学解释的途径优越的性能。
2020-04-25 cs.LG stat.ML
Copula Mixture Model for Dependency-seeking Clustering
University of Basel（巴塞尔大学）
我们引入了一个Copula混合模型，以执行依赖性寻求聚类时，从不同的数据源共现的样本。该模型利用Copula框架提供的巨大灵活性，将典型相关分析的混合物扩展到具有任意连续边缘密度的多变量数据。我们制定我们的模型作为一个非参数贝叶斯混合，同时提供有效的MCMC推理。对合成数据和真实数据的实验表明，Copula混合函数的灵活性大大提高了聚类结果的可解释性。
2012-06-27 cs.LG stat.ME stat.ML
Scalable Clustering: Large Scale Unsupervised Learning of Gaussian Mixture Models with Outliers
Florida State University（佛罗里达州立大学）
本文提出一种基于损失最小化的鲁棒聚类算法，解决带异常值的高斯混合模型的大规模聚类问题，提供理论保证并可作为 k-means 初始化策略，在 ImageNet 等大规模数据集上表现优异。
2023-02-28 cs.LG stat.ML
Mixture-of-Experts Variational Autoencoder for Clustering and Generating from Similarity-Based Representations on Single Cell Data
ETH Zürich（苏黎世联邦理工学院）；Life Science Graduate School Zurich（苏黎世生命科学研究生院）；Swiss Institute of Bioinformatics（瑞士生物信息学研究所）；University of Tübingen（图宾根大学）
聚类高维数据，如图像或生物测量，是一个长期存在的问题，并已被广泛研究。最近，深度聚类由于其在适应复杂数据的特定特性方面的灵活性而受到欢迎。本文介绍了一种新的生成式聚类模型MoE-Sim-VAE（混合专家模型Similarity变分自编码器），该模型能够学习高维数据的多模态分布，并利用这些分布高效地生成真实数据。MoE-Sim-VAE基于变分自编码器（VAE），其中解码器由混合专家模型（MoE）架构组成。这种特定的架构允许通过专家自动学习数据的各种模式。此外，我们鼓励我们模型的低维潜在表示遵循高斯混合分布，并准确表示数据点之间的相似性。我们评估了我们的模型在MNIST基准数据集上的性能，并挑战了从单细胞RNA测序测量中聚类小鼠器官和从数百个不同数据集上的质谱仪（CyTOF）测量中定义细胞亚群的现实任务。与基线以及竞争对手的方法相比，MoE-Sim-VAE在所有这些任务上都表现出卓越的聚类性能。
2020-12-18 cs.LG stat.ML
Estimation of Non-Normalized Mixture Models and Clustering Using Deep Representation
The University of Tokyo（东京大学）；University College London（伦敦大学学院）；University of Helsinki（赫尔辛基大学）
我们开发了一个通用的方法来估计有限的混合非归一化模型。这里，非归一化模型被定义为具有难以处理的归一化常数的参数分布。现有的方法估计非归一化模型，而不计算归一化常数不适用于混合模型，因为它们包含一个以上的棘手的归一化常数。所提出的方法是通过扩展噪声对比估计（NCE），估计非归一化模型之间的观测数据和一些人为产生的噪声进行区分。我们还提出了一个扩展的NCE与多个噪声分布。然后，基于观察，传统的分类学习与神经网络是隐含地假设一个指数族作为一个生成模型，我们介绍了一种方法，通过估计一个指数族中的分布的有限混合聚类未标记的数据。该混合模型的估计是通过建议的NCE扩展来实现的，其中神经网络的训练数据被用作噪声。因此，所提出的方法提供了一种能够利用深度表示的概率原则聚类方法。使用深度神经网络进行图像聚类的应用给出了有希望的结果。
2018-05-19 cs.LG stat.ML
Mixed data Deep Gaussian Mixture Model: A clustering model for mixed datasets
CNRS（法国国家科学研究中心）；Centrale Marseille（马赛中央理工学院）；Aix-Marseille Univ.（艾克斯-马赛大学）；Univ Lyon（里昂大学）；UCBL（里昂第一大学）；Univ. of Bologna（博洛尼亚大学）
聚类混合数据提出了许多挑战，固有的非常异构的性质的变量。尽管存在这种异质性，聚类算法应该能够从变量中提取有区别的信息，以便设计组。在这项工作中，我们介绍了一种多层架构的基于模型的聚类方法称为混合深度高斯混合模型（MDGMM），可以被视为一种自动的方式来合并分别对连续和非连续数据进行聚类。这种架构是灵活的，可以适应混合以及连续或非连续数据。在这个意义上，我们推广了广义线性潜变量模型和深度高斯混合模型。我们还设计了一个新的初始化策略和一个数据驱动的方法，选择最佳规格的模型和最佳数量的集群为一个给定的数据集“上飞”。此外，我们的模型提供了连续的低维表示的数据，这可以是一个有用的工具，可视化混合数据集。最后，我们验证了我们的方法的性能比较其结果与国家的最先进的混合数据聚类模型在几个常用的数据集。
2021-03-10 cs.LG stat.ML
Temporal Multinomial Mixture for Instance-Oriented Evolutionary Clustering
Korea Institute of Science and Technology Information（韩国科学技术信息研究院）；University of Lyon 2（里昂第二大学）
演化聚类的目的是捕捉集群的时间演化。这个问题在自然时间驱动的社交媒体数据的背景下尤为重要。在本文中，我们提出了一种新的基于概率模型的进化聚类技术。时间多项混合模型（TMM）是经典混合模型的扩展，它在时间平滑性的权衡下优化特征同现。我们的模型进行了评估，最近的两个案例研究意见聚合随着时间的推移。我们比较了四种不同的概率聚类模型，我们的建议在面向实例的聚类任务的优越性。
2016-01-11 cs.IR cs.LG stat.ML
EGMM: an Evidential Version of the Gaussian Mixture Model for Clustering
Northwestern Polytechnical University（西北工业大学）；Université de Technologie de Compiègne（贡比涅技术大学）；Institut Universitaire de France（法国大学研究院）
高斯混合模型（GMM）为聚类提供了一个简单而有原则的框架，具有适合统计推断的属性。在本文中，我们提出了一种新的基于模型的聚类算法，称为EGMM（证据GMM），在理论框架的信念函数，以更好地表征集群成员的不确定性。用一个质量函数来表示每个对象的聚类隶属度，提出了由所需聚类幂集上的分量组成的证据高斯混合分布来建模整个数据集。EGMM中的参数估计由一个专门设计的期望最大化（EM）算法。还提供了允许自动确定簇的适当数目的有效性指数。建议EGMM是简单的经典GMM，但可以产生一个更丰富的证据分区所考虑的数据集。合成数据集和真实数据集的实验结果表明，该EGMM算法的性能优于其他代表性的聚类算法。最后，将其应用于多模态脑图像分割，证明了该方法的优越性。
2022-09-07 cs.LG stat.ML
Spectral Properties of Radial Kernels and Clustering in High Dimensions
UCA INRIA（蔚蓝海岸大学法国国家信息与自动化研究所）
本文研究了$\mathbb{R}^n$中混合分布径向核的谱和特征向量。我们的方法专注于高维度，仅依赖于混合物中组分的浓度特性。我们给出了几个结果描述的核矩阵的结构，从这样的混合物中抽取的样本。基于这些结果，我们分析了核PCA聚类高维混合的能力。特别是，我们展示了一个特定的内核，导致一个简单的频谱算法聚类可能共同的手段，但不同的协方差阵的混合物。我们表明，所需的算法成功的协方差阵之间的最小角间距趋于$0$的$n$走向无穷大。
2020-01-06 cs.LG stat.ML
Dynamic Clustering via Asymptotics of the Dependent Dirichlet Process Mixture
MIT（麻省理工学院）；Duke University（杜克大学）；Ohio State University（俄亥俄州立大学）
本文提出了一种新的算法，依赖Dirichlet过程混合模型（DDPMM）的基础上，包含一个未知数量的演变集群的批量顺序数据的聚类。该算法是通过对DDPMM的Gibbs采样算法进行低方差渐近分析而得出的，并提供了一个具有类似于k-均值算法的收敛保证的硬聚类。移动高斯聚类合成测试和真实ADS-B飞机轨迹数据测试的实证结果表明，该算法需要的计算时间比当代概率和硬聚类算法少几个数量级，同时提供更高的精度检查数据集。
2013-11-01 cs.LG stat.ML
Dissimilarity Mixture Autoencoder for Deep Clustering
Universidad Nacional de Colombia（哥伦比亚国立大学）
相异性混合自动编码器（DMAE）是一种用于基于特征的聚类的神经网络模型，它包含灵活的相异性函数，可以集成到任何类型的深度学习架构中。它在内部表示一个相异性混合模型（DMM），该模型通过将概率重新解释为神经网络表示，将K均值、高斯混合模型或Bregman聚类等经典方法扩展到任何凸和可微相异性函数。DMAE可以与深度学习架构集成到端到端模型中，允许同时估计聚类和神经网络的参数。在图像和文本聚类基准数据集上进行了实验评估，结果表明DMAE在无监督分类精度和归一化互信息方面具有竞争力。DMAE实现的源代码可在https://github.com/juselara1/dmae上公开获得
2021-07-15 cs.CV cs.LG stat.ML
Bayesian Consensus Clustering
Duke University Medical Center（杜克大学医学中心）；Duke University（杜克大学）
基于多个数据源对一组对象进行聚类的任务出现在几个现代应用中。我们提出了一个综合的统计模型，允许一个单独的聚类的对象为每个数据源。这些单独的聚类松散地附着于整体共识聚类，因此它们不是独立的。我们描述了一个计算上可扩展的贝叶斯框架，同时估计的共识聚类和特定于源的聚类。我们证明了这种灵活的方法比所有数据源的联合聚类更强大，并且比单独对每个数据源进行聚类更强大。这项工作的动机是异构生物医学数据的综合分析，我们提出了一个应用程序，使用公开的数据从癌症基因组图谱的乳腺癌肿瘤样本的亚型鉴定。软件可在http://people.duke.edu/~el113/software.html上获得。
2013-02-28 cs.LG stat.ML
Hierarchical mixtures of Gaussians for combined dimensionality reduction and clustering
University of Tübingen（图宾根大学）
本研究提出分层高斯混合模型HMoGs，将降维与聚类统一为单个概率模型，通过新型指数族参数化降低计算复杂度，在合成数据和MNIST上验证了联合优化的性能提升，兼具统计严谨性与可解释性。
2025-07-29 cs.LG stat.ML
PAC-Bayes Iterated Logarithm Bounds for Martingale Mixtures
University of California, San Diego（加州大学圣地亚哥分校）
我们给出了严格的浓度边界的混合物的鞅，同时均匀的（a）混合分布，在PAC贝叶斯意义上，和（b）所有有限的时间。这些界限证明的鞅方差，扩展经典的伯恩斯坦不等式，锐化和简化以前的工作。
2015-06-22 cs.LG math.PR stat.ML
Mixture model modal clustering
两种最广泛的基于密度的聚类方法肯定是混合模型聚类和模态聚类。在混合模型方法中，密度被表示为混合物，并且聚类与不同的混合物组分相关联。在模态聚类中，聚类被理解为高密度区域，它们被低密度区域彼此分开，因此它们与密度模式周围的某些区域密切相关。如果真实密度确实在假设的混合密度类中，则混合模型聚类允许仔细检查比模态聚类更微妙的情况。然而，当以非参数方式使用混合建模时，利用混合密度筛的密集性来近似任何密度，则聚类和混合组分之间的对应关系可能变得可疑。在本文中，我们介绍了两种方法，采用模态聚类的观点后，混合模型拟合。提供了许多例子来说明，混合建模也可以用于聚类在非参数意义上，只要集群被理解为域的密度模式的吸引力。
2016-09-15 stat.CO stat.ML
Posterior Regularization on Bayesian Hierarchical Mixture Clustering
Tencent（腾讯）；University College Dublin（都柏林大学学院）；Trinity College Dublin（都柏林圣三一学院）
针对贝叶斯层次混合聚类（BHMC）高层节点分离度弱的问题，提出对各层节点施加最大间隔约束的后验正则化方法，有效提升了BHMC模型的聚类分离效果。
2023-05-05 cs.AI cs.LG stat.ML
A Bayesian Network Classifier that Combines a Finite Mixture Model and a Naive Bayes Model
University of Pittsburgh（匹兹堡大学）
在本文中，我们提出了一个新的贝叶斯网络模型的分类，结合朴素贝叶斯（NB）分类器和有限混合（FM）分类器。由此产生的分类器的目的是放松的两个组件模型的基础上的强假设，在试图提高其分类性能，无论是在准确性和校准的估计概率。建议的分类器是通过叠加一个有限的混合模型的一组特征变量的朴素贝叶斯模型。我们目前的实验结果，比较真实数据集上的新分类器的预测性能与NB分类器和FM分类器的预测性能。
2013-01-23 cs.AI cs.LG stat.ML
A Latent Gaussian Mixture Model for Clustering Longitudinal Data
有限混合模型已经成为一种流行的聚类工具。在其他用途中，它们已被应用于聚类纵向数据和聚类高维数据。在后一种情况下，有时使用潜在高斯混合模型。虽然已经有大量的工作，聚类使用潜在变量和聚类纵向数据，分别，一直是一个缺乏的工作，结合这些功能。在扩展的混合公因子分析模型的基础上，提出了一种多时间点纵向数据聚类方法。期望最大化算法的一种变体用于参数估计，贝叶斯信息准则用于模型选择。使用真实和模拟数据的方法来说明。
2018-04-13 stat.ME stat.ML
Identifiability of Nonparametric Mixture Models and Bayes Optimal Clustering
出于数据聚类中的问题，我们建立一般条件下，家庭的非参数混合模型是可识别的，通过引入一个新的框架，涉及聚类过拟合\emph{parametric}（即误指定）混合模型。这些可识别性条件概括了文献中的现有条件，并且足够灵活以包括例如高斯混合物的混合物。在最近的文献中估计非参数混合，我们允许一般的非参数混合成分，而不是施加规律性假设的基础混合措施。作为我们的主要应用程序，我们将这些结果应用到基于分区的聚类，将贝叶斯最优分区的概念从经典的基于参数模型的聚类推广到非参数设置。此外，这个框架是建设性的，使它产生一个实用的算法学习识别的混合物，这是通过几个例子说明了真实的数据。在分析中的关键概念设备是凸的，度量几何的概率测度的度量空间和连接到Wasserstein收敛的混合措施。其结果是一个灵活的框架，非参数聚类与正式的一致性保证。
2020-02-18 cs.AI cs.LG math.ST
Universal Lower Bounds and Optimal Rates: Achieving Minimax Clustering Error in Sub-Exponential Mixture Models
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Bilkent University（比尔肯特大学）
本文针对次指数混合模型，提出基于Chernoff散度的通用聚类误差下界，证明迭代算法可达最优速率，并验证Bregman硬聚类在指数族混合模型中的速率最优性。
2024-07-17 cs.LG math.ST stat.ML
Reliable Clustering of Bernoulli Mixture Models
Sharif University of Technology（谢里夫理工大学）
伯努利混合模型（Bernoulli Mixture Model，BMM）是具有独立维度的随机二进制向量的有限混合。聚类BMM数据的问题出现在各种现实世界的应用中，从群体遗传学到社交网络中的活动分析。在本文中，我们从理论的角度分析了集群的可集群性，当集群的数量是未知的。特别是，我们对模型的样本复杂度和维度规定了一组条件，以保证数据集的可能近似正确（PAC）可集群性。据我们所知，这些研究结果是第一个非渐近界的学习或聚类样本的复杂性。
2019-06-16 cs.IT cs.LG math.IT
Amortized Bayesian Mixture Models
本文提出一种适用于混合模型的均摊贝叶斯推断框架，通过生成神经网络和分类网络结合，实现参数推断和混合成员识别，支持独立和依赖混合模型，并在合成和真实数据集上进行了验证。
2026-03-16 cs.LG stat.CO stat.ML
Bayesian sparse convex clustering via global-local shrinkage priors
NTT Advanced Technology Corporation（NTT先进技术公司）；The University of Electro-Communications（电气通信大学）
稀疏凸聚类是在凸聚类框架下对观测值进行聚类的同时进行变量选择。虽然加权$L_1$范数通常用于稀疏凸聚类中的正则化项，但如果样本量不足，则其使用增加了对数据的依赖性并降低了估计精度。针对这些问题，本文提出了一种基于贝叶斯套索和全局-局部收缩先验的贝叶斯稀疏凸聚类方法。我们引入吉布斯抽样算法，我们的方法使用的比例混合正态分布。仿真研究和实际数据分析表明了所提出方法的有效性。
2020-05-26 cs.LG stat.ME stat.ML
Vine copula mixture models and clustering for non-Gaussian data
大多数有限混合模型的缺点是不允许组件内的非对称尾部依赖性，并且在聚类应用中不捕获非椭圆簇。由于藤蔓Copula是非常灵活的，在捕捉这些类型的依赖关系，我们提出了一种新的藤蔓Copula连续数据的混合模型。我们讨论了模型选择和参数估计问题，并进一步制定了一个新的基于模型的聚类算法。在聚类中使用藤连接允许聚类的形状和依赖结构的范围。我们的模拟实验说明了一个显着的增益时，聚类精度显着不对称的尾部依赖或/和非高斯利润的组件内存在。实际数据集的分析伴随着所提出的方法。我们表明，基于模型的聚类算法与藤蔓copula混合模型优于其他基于模型的聚类技术，特别是对非高斯多变量数据。
2021-09-08 stat.ME stat.ML
Optimal Clustering in Anisotropic Gaussian Mixture Models
University of Washington（华盛顿大学）；University of Pennsylvania（宾夕法尼亚大学）
本文研究了各向异性高斯混合模型下的聚类问题，其中来自不同聚类的协方差阵是未知的，并且不一定是相同的矩阵。我们刻画了信噪比对聚类中心和协方差阵的依赖性，并得到了聚类问题的极大极小下界。此外，我们提出了一个计算上可行的程序，并证明它达到了最佳的速度在几个迭代。所提出的方法是一种硬EM型算法，它也可以被看作是劳埃德算法的一个变体，该算法被调整到各向异性的协方差阵。
2021-01-18 cs.LG math.ST stat.ML
Dirichlet Process Parsimonious Mixtures for clustering
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；CNRS（法国国家科学研究中心）；Aix Marseille Université（艾克斯-马赛大学）；ENSAM（法国国立高等工程技术学校）；Université de Toulon（土伦大学）
简约高斯混合模型，它利用一个特征值分解的组协方差阵的高斯混合，已显示出他们的成功，特别是在聚类分析。它们的估计一般通过极大似然估计进行，并且也从参数贝叶斯前景考虑。我们提出了新的Dirichlet过程简约混合物（DPPM），代表这些简约高斯混合模型的贝叶斯非参数制定。所提出的DPPM模型是贝叶斯非参数简约混合模型，允许同时推断模型参数，混合物组分的最佳数量和最佳简约混合物结构的数据。我们开发了一个吉布斯抽样技术的最大后验概率（MAP）估计的DPMM模型，并提供了一个贝叶斯模型选择框架，通过使用贝叶斯因子。我们将它们应用于聚类模拟数据和真实数据集，并将它们与标准的简约混合模型进行比较。所得到的结果突出了所提出的非参数简约混合模型作为一个很好的非参数替代参数简约模型的有效性。
2018-10-17 cs.LG stat.ME stat.ML
Variational Bayesian Inference For A Scale Mixture Of Normal Distributions Handling Missing Data
本文提出了一种适用于含有异常值和缺失值的数据分类和聚类的正态分布尺度混合模型。分类方法，基于混合模型，侧重于引入潜变量，使我们有可能处理模型对离群值的敏感性，并允许对缺失数据进行限制性较小的建模。通过变分贝叶斯近似进行推理，并采用贝叶斯处理进行模型学习、监督分类和聚类。
2017-11-22 stat.ML
The Informativeness of K -Means for Learning Mixture Models
National University of Singapore（新加坡国立大学）
混合模型的学习可以看作是一个聚类问题。事实上，给定从混合分布独立生成的数据样本，我们通常希望根据它们从哪个分量分布生成来找到样本的{ \it正确目标聚类}。对于聚类问题，从业者通常选择使用简单的$k$均值算法。$k$ -表示尝试找到{ \it最佳聚类}，以最小化每个点与其聚类中心之间的平方和距离。在本文中，我们考虑基本的（即，通过优化平方和距离获得的解决方案（聚类）的信息论）限制。特别是，我们提供了充分的条件，任何最佳的聚类和正确的目标聚类假设的数据样本是从混合球高斯分布生成的接近。我们也将我们的结果推广到对数凹分布。此外，我们还表明，在混合模型上类似甚至更弱的条件下，降维样本的任何最佳聚类也接近正确的目标聚类。这些结果提供了直观的信息$k$ -手段（有和没有降维）作为学习混合模型的算法。
2022-08-25 cs.IT cs.LG math.IT
Large Scale Variational Bayesian Inference for Structured Scale Mixture Models
自然图像统计在多个尺度上表现出层次依赖性。在非阶乘潜在树模型中表示这样的先验知识可以大大提高图像去噪、修复、去卷积或重建的性能，超越标准阶乘“稀疏”方法。我们推导出一个大规模的近似贝叶斯推理算法的线性模型与非阶乘（潜在树结构）规模的混合先验。一系列去噪和修复问题的实验结果表明，大大提高了性能相比，MAP估计或推断与阶乘先验。
2012-06-27 cs.CV cs.LG stat.ML
Model-based clustering with Hidden Markov Model regression for time series with regime changes
Paris Nord University（巴黎第十三大学）；IFSTTAR（法国交通与安全科学技术研究所）；Heudiasyc Lab（Heudiasyc实验室）
本文介绍了一种新的基于模型的聚类方法聚类时间序列，目前的政权变化。它由隐藏的马尔可夫链控制的多项式回归的混合物组成。每个簇的潜在隐藏过程在时间上连续激活几个多项式机制。参数估计通过专用期望最大化（EM）算法采用极大似然法进行。所提出的方法进行评估，使用模拟时间序列和现实世界的时间序列从铁路诊断应用程序发出。与现有的时间序列聚类方法，包括高斯混合的标准EM，$K$均值聚类，标准混合回归模型和混合隐马尔可夫模型的比较，证明了该方法的有效性。
2013-12-25 cs.LG stat.ME stat.ML
Deep Unsupervised Clustering with Gaussian Mixture Variational Autoencoders
Imperial College London（帝国理工学院）
我们研究了变分自编码器模型（VAE）的一个变体，该模型以高斯混合作为先验分布，目标是通过深度生成模型执行无监督聚类。我们观察到，已知的问题，已被证明出现在定期VAE也体现在我们的模型，并导致集群退化。我们表明，一个启发式称为最小信息约束，已被证明可以减轻这种影响VAE也可以应用于提高无监督聚类性能与我们的模型。此外，我们分析了这种启发式的效果，并提供了直观的各种过程的可视化的帮助。最后，我们证明了我们的模型在合成数据，MNIST和SVHN上的性能，表明所获得的聚类是独特的，可解释的，并导致在无监督聚类上达到与最先进的结果竞争的性能。
2017-01-13 cs.LG cs.NE stat.ML
Variational Bayesian Methods for a Tree-Structured Stick-Breaking Process Mixture of Gaussians by Application of the Bayes Codes for Context Tree Models
Center for Data Science Waseda University（早稻田大学数据科学中心）
针对树结构断棍过程混合模型现有MCMC方法计算成本高的问题，提出基于上下文树模型贝叶斯编码子程序的变分贝叶斯学习算法，在有限树宽树深假设下实现高效计算，并通过基准数据集实验验证了效率。
2024-09-11 cs.IT cs.LG math.IT
Unsupervised Deep Clustering for Source Separation: Direct Learning from Mixtures using Spatial Information
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（Adobe研究院）
我们提出了一个单声道声源分离系统，该系统只通过观察没有地面真值分离信息的混合物来训练。我们使用一种深度聚类方法，该方法在多通道混合物上进行训练，并学会将频谱图箱投影到与各种空间特征相关的源集群。我们表明，使用这样的训练过程中，我们可以获得的分离性能是一样好，利用地面真分离信息。一旦经过训练，这个系统就能够对单声道输入进行声音分离，尽管已经学会了如何使用多声道录音来这样做。
2018-11-09 cs.LG cs.SD eess.AS
Clustering subgaussian mixtures by semidefinite programming
Air Force Institute of Technology（空军理工学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们介绍了一个无模型的松弛和轮算法的k-均值聚类的基础上半定松弛由于彭和魏。该算法将SDP输出解释为原始数据的去噪版本，然后将此输出舍入为硬聚类。我们提供了一个通用的方法来证明该算法的性能保证，我们分析了该算法的背景下，亚高斯混合模型。我们还研究了估计高斯中心的基本限制，以比较我们的近似保证理论上最优的k-均值聚类解决方案。
2016-05-10 cs.DS cs.IT cs.LG
Dynamic Clustering Algorithms via Small-Variance Analysis of Markov Chain Mixture Models
贝叶斯非参数是一类概率模型，其中模型大小是从数据中推断出来的。最近开发的一种方法在这一领域是小方差渐近分析，数学技术推导学习算法，捕捉贝叶斯非参数推理算法的灵活性，但更简单的实现和计算成本较低。过去关于贝叶斯非参数推理算法的小方差分析的工作只考虑了在单个静态数据集上训练的批处理模型，这些模型无法捕获数据潜在结构中的时间演变。这项工作提出了一个小方差分析的最大后验滤波问题的随时间变化的混合模型与马尔可夫依赖结构，捕捉时间演变的集群内的数据集。两个聚类算法的分析结果：D-Means，线性可分离的，球形集群的迭代聚类算法;和SD-均值，一个谱聚类算法，来自一个内核化，放松版本的聚类问题。实验结果表明，使用D-Means和SD-Means在计算成本和聚类精度方面优于当代聚类算法。
2017-07-26 stat.ML
