Linear Time Clustering for High Dimensional Mixtures of Gaussian Clouds
Bell Laboratories, Nokia(诺基亚贝尔实验室)
混合高斯分布的聚类是一个基本的和具有挑战性的问题,是普遍存在于各种高维数据处理任务。虽然关于学习高斯混合模型的最新工作主要集中在改进分离边界及其对任意类混合模型的推广上,但对所提出的解决方案的实际计算效率的重视程度较低。在本文中,我们提出了一种新的和高效的聚类算法的$n$点从混合的两个任意高斯分布$\mathbb{R}^p$。该算法涉及执行随机1维投影,直到找到产生用户指定的聚类误差$e$的方向。对于一个1维分离参数$γ$满足$γ=Q^{-1}(e)$,这种预测的预期数量被证明是有界的$o(\ln p)$,当$γ$满足$γ\leq c\sqrt{\ln{\ln{p}}}$,与$c$作为分离参数的两个高斯在$\mathbb{R}^p$。因此,在$o(\ln{p})O(np)$下,该算法的预期总运行时间在$n$中是线性的,在$p$中是准线性的,并且样本复杂度与$p$无关。该结果与先前的工作形成对比,先前的工作在$p$和$n$中提供多项式,最好是二次的运行时间。我们表明,我们的1维投影的预期数量的范围扩展到三个或更多的高斯分量的情况下,我们提出了一个概括我们的结果混合分布超出高斯模型。
2018-03-01 cs.LG
Clustering Gaussian Graphical Models
University of New Haven(纽黑文大学)
我们推导出一个有效的方法来执行聚类的节点直接从样本数据的高斯图形模型。节点根据其网络邻域的相似性进行聚类,边缘权重由偏相关定义。在有限数据的情况下,协方差矩阵将是秩亏的,我们能够利用矩阵因子,而不需要估计实际的协方差或精度矩阵。我们证明了从人类连接组计划的功能MRI数据的方法。给出了该算法的matlab实现。
2019-10-05 cs.LG stat.ML
Clustering of non-Gaussian data by variational Bayes for normal inverse Gaussian mixture models
Kogakuin University of Technology and Engineering(工学院大学)
有限混合模型,通常是高斯混合,是众所周知的,并广泛用作基于模型的聚类。在实际情况中,有许多非高斯数据是重尾和/或不对称的。正态逆高斯分布是正态方差均值,其混合密度是逆高斯分布,可以用于半尾和非对称性。对于NIG混合模型,期望最大化方法和变分贝叶斯(VB)算法已经被提出。然而,现有的VB算法对NIG混合物的混合密度的形状是有限的缺点。在本文中,我们提出了另一种VB算法的NIG混合,改进的缺点。我们还提出了一个扩展的Dirichlet过程混合模型,以克服在有限混合模型中确定集群的数量的困难。我们用人工数据评估了性能,发现它优于高斯混合和现有的NIG混合实现,特别是对于高度非规范的数据。
2020-09-13 cs.LG stat.ML
Optimality of Spectral Clustering in the Gaussian Mixture Model
ETH Zürich(苏黎世联邦理工学院);University of Pennsylvania(宾夕法尼亚大学);Yale University(耶鲁大学)
谱聚类是对高维数据进行聚类的一种常用算法。它易于实现,计算效率高。尽管它的流行和成功的应用,它的理论特性还没有得到充分的理解。本文证明了在协协方差阵为各向同性的高斯混合模型中,当聚类数固定且信噪比足够大时,谱聚类是极小极大最优的.谱间隔条件在文献中被广泛假设来分析谱聚类。相反,这些条件是不需要建立本文的谱聚类的最优性。
2020-08-05 cs.LG math.SP math.ST
Deep Conditional Gaussian Mixture Model for Constrained Clustering
ETH Zürich(苏黎世联邦理工学院);University Children’s Hospital Regensburg (KUNO)(雷根斯堡大学儿童医院(KUNO));University of Regensburg(雷根斯堡大学)
约束聚类在机器学习领域得到了极大的关注,因为它可以利用越来越多的部分标记数据的先验信息。根据深度生成模型的最新进展,我们提出了一种新的约束聚类框架,该框架直观,可解释,并且可以在随机梯度变分推理的框架中有效地训练。通过明确地整合领域知识的概率关系的形式,我们提出的模型(DC-GMM)揭示了潜在的分布数据的条件上事先聚类的偏好,表示为成对的约束。这些约束通过指示哪些样本应该或不应该属于同一聚类来引导聚类过程朝向数据的期望分区。我们提供了大量的实验来证明,DC-GMM显示出优越的聚类性能和鲁棒性相比,国家的最先进的深度约束聚类方法在广泛的数据集。我们进一步证明了我们的方法在两个具有挑战性的现实世界中的应用程序的有用性。
2022-02-01 cs.LG
Meta-learning representations for clustering with infinite Gaussian mixture models
NTT Communication Science Laboratories(NTT通信科学实验室)
为了获得更好的聚类性能,适当的表示至关重要。虽然已经提出了许多基于神经网络的度量学习方法,但它们并不直接训练神经网络来提高聚类性能。我们提出了一种元学习方法,训练神经网络获得表示,使聚类性能提高时,表示聚类的变分贝叶斯(VB)推理与无限高斯混合模型。所提出的方法可以聚类看不见的未标记的数据使用知识元学习与标记的数据是从未标记的数据不同。对于目标函数,我们提出了一个连续的近似调整兰德指数(ARI),我们可以评估软聚类分配的聚类性能。由于近似的ARI和VB推理过程是可微的,我们可以通过VB推理过程反向传播目标函数来训练神经网络。通过使用文本和图像数据集的实验,我们证明了我们提出的方法具有更高的调整后的Rand指数比现有的方法。
2021-03-01 cs.LG stat.ML
Deep Clustering of Tabular Data by Weighted Gaussian Distribution Learning
Tennessee State University(田纳西州立大学)
针对表格数据异构特征带来的聚类挑战,提出无监督深度聚类框架G-CEALS,通过迭代更新聚类权重学习多元高斯分布参数,在16个数据集上优于9种SOTA方法及传统K-means、GMM。
2024-05-17 cs.AI cs.LG
Scalable Clustering: Large Scale Unsupervised Learning of Gaussian Mixture Models with Outliers
Florida State University(佛罗里达州立大学)
本文提出一种基于损失最小化的鲁棒聚类算法,解决带异常值的高斯混合模型的大规模聚类问题,提供理论保证并可作为 k-means 初始化策略,在 ImageNet 等大规模数据集上表现优异。
2023-02-28 cs.LG stat.ML
Robustly Clustering a Mixture of Gaussians
我们给出了一个有效的算法鲁棒聚类的混合物的两个任意高斯,一个中心的开放问题,在计算有效的鲁棒估计理论,假设只有组件高斯的平均值分离良好或他们的协方差分离良好。我们的算法和分析自然扩展到强大的聚类混合物分离强logconvex分布。所需的均值分离接近于最小可能,以保证每个分量的大部分测量可以通过某个超平面分离(对于协方差,这与二次多项式核中的条件相同)。我们还表明,高斯混合,分离的总变化距离足以实现强大的聚类。我们的主要工具是一个新的可识别性准则的基础上各向同性的位置和Fisher判别,以及相应的平方和凸规划松弛,固定的程度。
2020-05-31 cs.DS cs.LG
Optimal Clustering in Anisotropic Gaussian Mixture Models
University of Washington(华盛顿大学);University of Pennsylvania(宾夕法尼亚大学)
本文研究了各向异性高斯混合模型下的聚类问题,其中来自不同聚类的协方差阵是未知的,并且不一定是相同的矩阵。我们刻画了信噪比对聚类中心和协方差阵的依赖性,并得到了聚类问题的极大极小下界。此外,我们提出了一个计算上可行的程序,并证明它达到了最佳的速度在几个迭代。所提出的方法是一种硬EM型算法,它也可以被看作是劳埃德算法的一个变体,该算法被调整到各向异性的协方差阵。
2021-01-18 cs.LG math.ST stat.ML
Mixed data Deep Gaussian Mixture Model: A clustering model for mixed datasets
CNRS(法国国家科学研究中心);Centrale Marseille(马赛中央理工学院);Aix-Marseille Univ.(艾克斯-马赛大学);Univ Lyon(里昂大学);UCBL(里昂第一大学);Univ. of Bologna(博洛尼亚大学)
聚类混合数据提出了许多挑战,固有的非常异构的性质的变量。尽管存在这种异质性,聚类算法应该能够从变量中提取有区别的信息,以便设计组。在这项工作中,我们介绍了一种多层架构的基于模型的聚类方法称为混合深度高斯混合模型(MDGMM),可以被视为一种自动的方式来合并分别对连续和非连续数据进行聚类。这种架构是灵活的,可以适应混合以及连续或非连续数据。在这个意义上,我们推广了广义线性潜变量模型和深度高斯混合模型。我们还设计了一个新的初始化策略和一个数据驱动的方法,选择最佳规格的模型和最佳数量的集群为一个给定的数据集“上飞”。此外,我们的模型提供了连续的低维表示的数据,这可以是一个有用的工具,可视化混合数据集。最后,我们验证了我们的方法的性能比较其结果与国家的最先进的混合数据聚类模型在几个常用的数据集。
2021-03-10 cs.LG stat.ML
Contrastive Gaussian Clustering: Weakly Supervised 3D Scene Segmentation
Istituto Italiano di Tecnologia (IIT)(意大利技术研究院)
本文提出对比高斯聚类方法,通过为每个三维高斯学习分割特征向量,结合对比学习与空间正则化,在弱监督下实现跨视角一致的三维场景分割,并较现有技术提升IoU准确率8%。
2024-04-19 cs.CV cs.LG
Hyperbolic Gaussian Blurring Mean Shift: A Statistical Mode-Seeking Framework for Clustering in Curved Spaces
Indian Statistical Institute(印度统计研究所)
HypeGBMS是一种用于曲面空间聚类的统计模式寻找框架,通过双曲距离和莫比乌斯加权均值实现对层次结构的高效捕捉。
2025-12-12 cs.LG stat.ML
Time Series Clustering with an EM algorithm for Mixtures of Linear Gaussian State Space Models
Shiga University(滋贺大学);Osaka Gas Co., Ltd.(大阪燃气株式会社)
在本文中,我们考虑的任务是聚类一组单独的时间序列,而每个集群建模,即基于模型的时间序列聚类。这项任务需要一个参数模型,具有足够的灵活性,以描述各种时间序列的动态。为了解决这个问题,我们提出了一种新的基于模型的时间序列聚类方法与线性高斯状态空间模型的混合物,具有很高的灵活性。该方法采用一种新的混合模型期望最大化算法估计模型参数,并利用贝叶斯信息准则确定聚类数。在模拟数据集上的实验证明了该方法在聚类、参数估计和模型选择等方面的有效性。该方法适用于真实数据集通常用于评估时间序列聚类方法。结果表明,所提出的方法产生的聚类结果是准确或更准确的比使用以前的方法。
2023-02-22 cs.CV cs.LG math.ST
EGMM: an Evidential Version of the Gaussian Mixture Model for Clustering
Northwestern Polytechnical University(西北工业大学);Université de Technologie de Compiègne(贡比涅技术大学);Institut Universitaire de France(法国大学研究院)
高斯混合模型(GMM)为聚类提供了一个简单而有原则的框架,具有适合统计推断的属性。在本文中,我们提出了一种新的基于模型的聚类算法,称为EGMM(证据GMM),在理论框架的信念函数,以更好地表征集群成员的不确定性。用一个质量函数来表示每个对象的聚类隶属度,提出了由所需聚类幂集上的分量组成的证据高斯混合分布来建模整个数据集。EGMM中的参数估计由一个专门设计的期望最大化(EM)算法。还提供了允许自动确定簇的适当数目的有效性指数。建议EGMM是简单的经典GMM,但可以产生一个更丰富的证据分区所考虑的数据集。合成数据集和真实数据集的实验结果表明,该EGMM算法的性能优于其他代表性的聚类算法。最后,将其应用于多模态脑图像分割,证明了该方法的优越性。
2022-09-07 cs.LG stat.ML
Hierarchical mixtures of Gaussians for combined dimensionality reduction and clustering
University of Tübingen(图宾根大学)
本研究提出分层高斯混合模型HMoGs,将降维与聚类统一为单个概率模型,通过新型指数族参数化降低计算复杂度,在合成数据和MNIST上验证了联合优化的性能提升,兼具统计严谨性与可解释性。
2025-07-29 cs.LG stat.ML
Efficient Large-Scale Face Clustering Using an Online Mixture of Gaussians
Vicomtech Foundation(Vicomtech基金会);University of the Basque Country(巴斯克大学)
在这项工作中,我们解决了大规模在线人脸聚类的问题:给定一个连续的未知面孔流,创建一个数据库,根据他们的身份对传入的面孔进行分组。每次有新面孔到来,数据库都必须更新。此外,解决方案必须高效、准确和可扩展。为此,我们提出了一个在线高斯混合聚类方法(OGMC)。该方法的关键思想是提议一个身份可以由不止一个分布或集群表示。使用从传入的面部提取的特征向量(f向量),OGMC生成可以根据其接近度和鲁棒性与其他人连接的聚类。每次使用新样本更新集群时,其连接也会更新。通过这种方法,我们减少了聚类过程对传入数据的顺序和大小的依赖,并且我们能够处理复杂的数据分布。实验结果表明,该方法优于国家的最先进的聚类方法在大规模的人脸聚类基准不仅在准确性,而且在效率和可扩展性。
2021-03-31 cs.CV cs.LG
Deep Clustering using Dirichlet Process Gaussian Mixture and Alpha Jensen-Shannon Divergence Clustering Loss
Institute of Microelectronics, A*Star Singapore(新加坡科技研究局微电子研究所)
针对现有深度聚类方法聚类损失非对称、需提前已知聚类数的缺陷,提出采用闭式Jensen-Shannon散度构建损失、结合狄利克雷过程高斯混合实现隐空间自适应聚类数选择的深度聚类方法,在多数据集上验证了有效性。
2024-12-12 cs.CV cs.LG
Asymptotic Gaussian Fluctuations of Eigenvectors in Spectral Clustering
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院);LIG(信息与信号处理实验室);GIPSA-lab(格勒诺布尔图像处理与信号学实验室)
本文证明了谱聚类中相似矩阵特征向量元素的波动在高维下服从高斯分布,填补了精确预测其分类性能的最后缺失环节,并通过合成与真实数据实验验证了普适性。
2024-05-27 cs.LG math.PR stat.ML
Tight integration of neural- and clustering-based diarization through deep unfolding of infinite Gaussian mixture model
NTT Corporation(日本电报电话公司)
发言人日记作为会议分析的一项重要核心任务得到了广泛的研究。最近的趋势表明,基于端到端神经(EEND)和聚类的日志的集成是一种很有前途的方法来处理包含重叠语音的现实会话数据与任意大量的扬声器,并在各种任务上取得了最先进的结果。然而,到目前为止提出的方法还没有实现{ \it紧密}集成,因为其中采用的聚类对于聚类由EEND模块估计的说话人嵌入在任何意义上都不是最优的。为了解决这个问题,本文引入了{ \it可训练}聚类算法的集成框架,通过深入展开的非参数贝叶斯模型称为无限高斯混合模型(iGMM)。具体而言,在训练期间优化说话人嵌入,使得它更好地适合iGMM聚类,基于基于调整的兰德指数(ARI)的新聚类损失。基于CALLHOME数据的实验结果表明,与传统方法相比,该方法在区分错误率(DER)方面具有更好的性能,尤其是大大降低了说话人混淆错误,体现了iGMM融合的有效性.
2022-02-14 cs.LG cs.SD eess.AS
Variational Information Bottleneck for Unsupervised Clustering: Deep Gaussian Mixture Embedding
Huawei Technologies(华为技术有限公司);Université Paris-Est(巴黎东大学)
在本文中,我们开发了一个无监督的生成聚类框架,结合了变分信息瓶颈和高斯混合模型。具体来说,在我们的方法中,我们使用变分信息瓶颈方法,并将潜在空间建模为高斯混合。我们推导了模型的代价函数的界,它推广了证据下界(ELBO),并给出了一个变分推理型算法来计算它,在该算法中,编码器的映射使用神经网络进行参数化,该界用Monte Carlo抽样近似,并用随机梯度下降进行优化。真实数据集上的数值结果提供了支持我们的方法的效率。
2020-02-27 cs.IT cs.LG math.IT
Deep Graph Clustering via Mutual Information Maximization and Mixture Model
Department of Electrical and Computer Engineering, Isfahan University of Technology(伊斯法罕理工大学电子与计算机工程系)
本文提出了一种对比学习框架,通过最大化互信息和混合高斯分布来学习适合聚类的节点嵌入,有效提升了图聚类性能。
2022-05-10 cs.LG
GM-CTSC at SemEval-2020 Task 1: Gaussian Mixtures Cross Temporal Similarity Clustering
University of Bari(巴里大学);Dublin City University(都柏林城市大学)
本文描述了SemEval-2020任务1:无监督词汇语义变化检测的系统。我们的方法集中在检测问题上。鉴于在不同时间段的时间词嵌入捕获的单词的语义,我们研究了使用无监督的方法来检测目标词何时获得或失去意义。为此,我们定义了一个新的算法的基础上高斯混合模型的目标相似性计算在两个时期的聚类。我们比较了所提出的方法与一些基于相似性的阈值。我们发现,尽管检测方法的性能在不同的词嵌入算法中有所不同,但高斯混合与时间参考的组合产生了我们最好的系统。
2020-05-20 cs.CL cs.LG
Deep Unsupervised Clustering with Gaussian Mixture Variational Autoencoders
Imperial College London(帝国理工学院)
我们研究了变分自编码器模型(VAE)的一个变体,该模型以高斯混合作为先验分布,目标是通过深度生成模型执行无监督聚类。我们观察到,已知的问题,已被证明出现在定期VAE也体现在我们的模型,并导致集群退化。我们表明,一个启发式称为最小信息约束,已被证明可以减轻这种影响VAE也可以应用于提高无监督聚类性能与我们的模型。此外,我们分析了这种启发式的效果,并提供了直观的各种过程的可视化的帮助。最后,我们证明了我们的模型在合成数据,MNIST和SVHN上的性能,表明所获得的聚类是独特的,可解释的,并导致在无监督聚类上达到与最先进的结果竞争的性能。
2017-01-13 cs.LG cs.NE stat.ML
GATCluster: Self-Supervised Gaussian-Attention Network for Image Clustering
Xidian University(西安电子科技大学);Tencent AI Healthcare(腾讯AI医疗);Rensselaer Polytechnic Institute(伦斯勒理工学院)
我们提出了一个自监督高斯注意力网络图像聚类(GATCluster)。GATCluster不是先提取中间特征,然后执行传统的聚类算法,而是直接输出语义聚类标签,无需进一步的后处理。从理论上讲,我们给出了一个标签特征定理,以保证学习的特征是一个热编码向量,并避免平凡的解决方案。为了以完全无监督的方式训练GATCluster,我们设计了四个具有变换不变性、可分性最大化、熵分析和注意力映射约束的自学习任务。具体来说,变换不变性和可分性最大化任务学习样本对之间的关系。熵分析任务旨在避免平凡的解决方案。为了捕捉面向对象的语义,我们设计了一个自我监督的注意力机制,其中包括一个参数化的注意力模块和软注意力损失。所有用于聚类的引导信号都是在训练过程中自生成的。此外,我们开发了一个两步的学习算法,是内存效率的聚类大尺寸的图像。大量的实验表明,我们提出的方法相比,国家的最先进的图像聚类基准的优越性。我们的代码已在https://github.com/niuchuangnn/GATCluster上公开发布。
2020-06-06 cs.CV cs.LG eess.IV
A Robust Spectral Clustering Algorithm for Sub-Gaussian Mixture Models with Outliers
University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们考虑的问题,聚类数据集的任意离群值的存在。传统的聚类算法,如k-means和谱聚类是已知的,即使是少量的离群值污染的数据集表现不佳。在本文中,我们开发了一个可证明的强大的谱聚类算法,适用于一个简单的舍入方案去噪的高斯核矩阵建立从数据点,并使用香草谱聚类恢复数据点的聚类标签。我们分析我们的算法的性能的假设下,“好”的数据点产生的混合物的亚高斯(我们称这些“内点”),而离群点可以来自任何任意的概率分布。对于这类一般的模型,我们表明,误分类误差衰减的信号噪声比的指数率,提供的离群点的数量是一个小部分的内点。令人惊讶的是,这个派生的错误界匹配的半定规划(SDP)在相同的设置下,没有离群值的最知名的界。我们在各种模拟和真实世界的数据集上进行了广泛的实验,以证明我们的算法与文献中提出的其他最先进的算法相比,对离群值不那么敏感。
2021-01-31 cs.LG math.ST stat.ML
Clustering Time Series Data with Gaussian Mixture Embeddings in a Graph Autoencoder Framework
针对传统时间序列聚类难以捕捉复杂时间依赖的问题,提出变分混合图自编码器(VMGAE),利用图结构优势捕捉数据关系并生成高斯混合嵌入,实验表明其显著优于现有技术,在金融数据上的应用可为市场分析提供深度见解。
2024-11-25 cs.AI cs.LG eess.SP
Speaker Diarization using Two-pass Leave-One-Out Gaussian PLDA Clustering of DNN Embeddings
The Johns Hopkins University(约翰斯·霍普金斯大学);Human Language Technology Center of Excellence(卓越人类语言技术中心)
许多现代说话人日记化系统,例如最近开发的VBx方法,依赖于DNN说话人嵌入的聚类,然后进行重新分段。这种方法的两个问题是DNN没有直接针对该任务进行优化,并且参数需要针对不同的应用进行显著的重新调整。我们最近在这个方向上取得了进展,采用了Leave-One-Out Gaussian PLDA(LGP)聚类算法和一种训练DNN的方法,以便嵌入直接优化这种评分方法的性能。本文提出了一种新的两遍版本的系统,其中第二遍使用更精细的时间分辨率,以显着提高整体性能。对于Callhome语料库,我们在没有任何任务相关参数调整的情况下实现了首次发布的错误率低于4%。我们还显示出显着的进步,一个强大的单一解决方案,多个日记任务。
2021-06-14 cs.LG eess.AS eess.SP
Spherical Wards clustering and generalized Voronoi diagrams
Jagiellonian University(雅盖隆大学)
高斯混合模型在许多实际问题中有着广泛的应用。然而,它不能直接推广到非欧几里德空间。为了克服这个问题,我们提出了一个球形高斯为基础的聚类方法划分数据集的任意相异性措施。所提出的方法是一个球交叉熵聚类与广义Wards方法相结合。该算法通过自动删除不携带信息的组来找到最佳的聚类数。此外,它是尺度不变的,并允许形成任意大小的球形簇。为了图形化地表示和解释结果,将沃罗诺伊图的概念推广到非欧空间,并应用于引入聚类方法。
2017-05-04 cs.LG
MAP Clustering under the Gaussian Mixture Model via Mixed Integer Nonlinear Optimization
Department of Mathematics and Statistics, University of Massachusetts Amherst, USA(马萨诸塞大学阿默斯特分校数学与统计系,美国);Data Science Program, Worcester Polytechnic Institute, USA(伍斯特理工学院数据科学项目,美国);Data Science Program and Foisie Business School, Worcester Polytechnic Institute, USA(伍斯特理工学院数据科学项目和福西商学院,美国)
提出了一种求解高斯混合模型下最大后验(MAP)聚类问题的全局优化方法,该方法将MAP聚类问题转化为混合整数非线性优化问题(MINLP),既能容纳边约束,又能保持MAP聚类问题的组合结构.我们近似MINLP通过混合整数二次规划(MIQP)变换,提高计算方面,同时保证$ε$ -全局最优。我们的方法的一个重要好处是显式量化的次优的程度,通过最优差距,途中找到全局最优的MAP聚类。数值实验比较我们的方法与其他方法表明,我们的方法找到了一个更好的解决方案比标准的聚类方法。最后,我们聚类一个真正的乳腺癌基因表达数据集,将内在的亚型信息,诱导的约束大大提高了计算性能,并产生更多的连贯性和生物逻辑上有意义的集群。
2020-03-17 cs.LG math.OC stat.ME
Incremental Gaussian Mixture Clustering for Data Streams
University of Cincinnati(辛辛那提大学)
针对超大规模数据流分析需求,提出一种基于熵最小化准则的增量式高斯混合聚类算法,可在流式数据中更新聚类并识别异常点,经多个二维数据集验证有效。
2024-12-10 cs.DB cs.LG
Rectified Gaussian kernel multi-view k-means clustering
针对多视图数据聚类问题,提出指数距离多视图k均值(MVKM-ED)和高斯核多视图k均值(GKMVKM)两种算法,通过高斯核空间欧氏距离计算及参数对齐提升性能,在5个真实数据集上验证了鲁棒性与高效性。
2024-05-16 cs.CV cs.LG
Large Scale Clustering with Variational EM for Gaussian Mixture Models
University of Oldenburg(奥尔登堡大学)
本文提出了一个初步的(预审查)版本的次线性变分算法各向同性高斯混合模型(GRESS)。TPAMI(doi:10.1109/TPAMI.2021.3133763)在论文"A Variational EM Acceleration for Efficient Clustering at Very Large Scales"中公布了针对具有对角协方差阵(而不是各向同性聚类)的GARCH的算法的进一步发展及其相应的基准测试结果。我们请读者参考TPAMI论文,而不是这个更早的arXiv版本(TPAMI论文也是开放获取的)。本文附带了公开的源代码(参见https://github.com/variational-sublinear-clustering)。请注意,TPAMI论文不再包含8000万微小图像数据集的基准测试,因为我们遵循数据集创建者的呼吁,停止使用该数据集。该项目的目的(产生了这个arXiv版本和后来的TPAMI论文)是探索当前的效率和大规模限制,以拟合用于聚类的参数模型到数据分布。为了降低计算复杂度,我们使用了一个基于截断变分EM的聚类目标(这降低了许多聚类的复杂性)与coreset目标(这降低了许多数据点的复杂性)相结合。我们使用有效的coreset建设和有效的播种,将理论上的次线性复杂度收益转化为一个有效的算法。在标准的大规模集群基准测试的应用中,我们观察到了与已经非常高效的…
2022-06-21 cs.LG stat.ML
Network-based clustering with mixtures of L1-penalized Gaussian graphical models: an empirical investigation
University of Warwick(华威大学);The Netherlands Cancer Institute(荷兰癌症研究所)
在许多应用中,多元样本可能在条件独立性或网络结构水平上隐藏先前未被识别的异质性。例如,在癌症生物学中,疾病亚型可能在分子组分之间的亚型特异性相互作用方面不同。然后,子类型发现和估计的子类型特定的网络提出了重要的和相关的挑战。为了实现这样的分析,我们提出了一个混合模型,其组成部分是稀疏高斯图形模型。这将基于模型的聚类和图形化建模结合在一起,可以同时估计集群分配和集群特定的网络。我们进行估计的L1处罚的框架内,并调查了几个具体的处罚制度。我们提出了经验的模拟数据的结果,并提供了一般的建议,制定和使用的L1处罚高斯图形模型的混合物。
2013-01-10 cs.LG stat.ME stat.ML
Online Arbitrary Shaped Clustering through Correlated Gaussian Functions
Norwegian University of Science and Technology(挪威科技大学)
针对反向传播缺乏生物学合理性的问题,提出一种无需先验聚类数量、通过相关高斯函数捕获输入模式以产生任意形状聚类的新颖在线无监督聚类算法,其生物学合理性更强且在多个数据集上表现良好。
2023-11-20 cs.CV cs.LG cs.NE
Game Level Clustering and Generation using Gaussian Mixture VAEs
Carleton College(卡尔顿学院);Northeastern University(东北大学)
变分自编码器(VAE)已被证明能够生成游戏关卡,但需要手动探索学习的潜在空间以生成具有期望属性的输出。虽然有条件的VAE通过允许生成以标签为条件来解决这个问题,但必须在培训期间提供此类标签,因此需要可能并不总是可用的先验知识。在本文中,我们应用高斯混合VAE(GMVAE),VAE的一个变体,它对潜在空间施加高斯(GM)的混合物,不像常规VAE施加单峰高斯。这允许GMVAE使用GM的组件以无监督的方式对级别进行聚类,然后使用学习的组件生成新的级别。我们展示了我们的方法与水平,从超级马里奥兄弟,Kid Icarus和Mega Man。我们的研究结果表明,学习的组件发现和聚类级别的结构和模式,并可用于生成具有所需特征的级别。
2020-08-22 cs.LG stat.ML
Federated Learning based on Self-Evolving Gaussian Clustering
Slovenian Research and Innovation Agency – ARIS(斯洛文尼亚研究与创新局 – ARIS)
本文提出一种基于自演化高斯聚类的联邦学习方法,无需预设聚类数量,在多个UCI数据集上取得优于传统分类方法的效果。
2025-08-21 cs.LG
Clustered Gaussian Graphical Model via Symmetric Convex Clustering
Rice University(莱斯大学);Baylor College of Medicine(贝勒医学院)
神经元功能分组的知识可以揭示神经回路的结构,并且在许多类型的神经影像学研究中是有价值的。然而,通过受控实验准确确定哪些神经元执行类似的神经学任务既劳动密集型又大规模昂贵。因此,以数据驱动的方式将具有相似连接性配置文件的神经元聚类为功能一致的组是非常有趣的。在这项工作中,我们提出了聚类高斯图形模型(GGM)和一个新的对称凸聚类惩罚在一个统一的凸优化框架推断神经元之间的功能集群从神经活动数据。采用可并行化的多块交替方向乘子法(ADMM)算法求解相应的凸优化问题。此外,我们建立的ADMM算法的收敛保证。在合成数据和真实世界神经科学数据上的实验结果证明了我们方法的有效性。
2019-05-30 cs.LG stat.ME stat.ML
Revisiting Gaussian Neurons for Online Clustering with Unknown Number of Clusters
Norwegian University of Science and Technology(挪威科技大学)
尽管人工神经网络最近取得了成功,但可能需要更多生物学上合理的学习方法来解决反向传播训练模型的弱点,如灾难性遗忘和对抗攻击。虽然这些弱点没有具体解决,一种新的本地学习规则,进行在线聚类的上限,而不是一个固定的集群计数的集群数量。代替使用正交权重或输出激活约束,激活稀疏性通过横向高斯神经元的相互排斥来实现,从而确保多个神经元中心不能占据输入域中的相同位置。在数据样本可以用均值和方差表示的情况下,还提出了一种更新方法来调整高斯神经元的宽度。这些算法应用于MNIST和CIFAR-10数据集,以创建捕获各种大小的像素块的输入模式的过滤器。实验结果表明,在大量的训练样本的学习参数的稳定性。
2022-08-06 cs.CV cs.LG cs.NE
Improving clustering quality evaluation in noisy Gaussian mixtures
School of Computer Science and Electronic Engineering, University of Essex(埃塞克斯大学计算机科学与电子工程学院);Département d’informatique, Université du Québec à Montréal(魁北克大学蒙特利尔分校计算机科学系);Mila - Quebec AI Institute(魁北克AI研究院)
本文提出FIR方法,通过调整特征贡献提升聚类验证质量,尤其在高维或噪声数据中增强评估可靠性。
2026-03-10 cs.LG stat.ML
Unsupervised Clustering Approaches for Autism Screening: Achieving 95.31% Accuracy with a Gaussian Mixture Model
ever-growing GmbH(Ever-growing 公司);Dyslexia99
本文比较四种无监督聚类算法用于自闭症筛查,在704人数据集上经超参数调优后,高斯混合模型取得95.31%的最高聚类准确率,证明无监督方法在标签数据稀缺时具有辅助早期检测的潜力。
2025-02-20 cs.CY cs.LG
Multiple Sample Clustering
聚类算法将每个对象数据视为从某个分布(例如高斯分布)中提取的单个样本,这是几十年来的热门话题。许多聚类算法,如k-means和谱聚类,都是基于单样本假设提出的。然而,在现实生活中,每个输入对象通常可以是从某个隐藏分布中提取的多个样本。传统的聚类算法无法处理这种情况。这就需要多样本聚类算法。但传统的多样本聚类算法只能处理标量样本或高斯分布的样本。这限制了多样本聚类算法的应用范围。在本文中,我们的目的是多样本聚类的一般框架。该框架可以生成各种算法。我们应用这个框架的两个具体情况:Wasserstein距离版本和Bhattacharyya距离版本的合成数据和股票价格数据。仿真结果表明,充分的统计量可以大大提高聚类的准确性和稳定性。
2019-10-24 cs.LG stat.ML
An Investigation on Support Vector Clustering for Big Data in Quantum Paradigm
Amity University Uttar Pradesh(阿密提 Uttar Pradesh 大学);Coventry University(考文垂大学)
支持向量聚类算法是基于使用高斯或多项式核的支持向量机的公知聚类算法。经典的支持向量聚类算法在一般情况下工作良好,但其性能下降时,应用于大数据。在本文中,我们已经研究了支持向量聚类算法的性能实现在一个量子范例可能的运行时的改进。我们已经开发和分析了量子版本的支持向量聚类算法。所提出的方法基于量子支持向量机和量子核(即,高斯和多项式)。所提出的量子版本的SVM聚类方法表现出显着的加速增益的整体运行时的复杂性相比,经典的。
2020-02-02 cs.LG stat.ML
Clustering a Mixture of Gaussians with Unknown Covariance
Cornell University(康奈尔大学);California Institute of Technology(加州理工学院);Columbia University(哥伦比亚大学)
我们研究了一个聚类问题,数据来自一个共同的高斯混合,但未知的,潜在的病态,协方差阵。我们首先考虑高斯混合两个相等大小的组件,并推导出一个最大割整数规划的基础上极大似然估计。我们证明了它的解决方案达到最佳的误分类率时,样本的数量线性增长的维度,对数因子。然而,解决最大割问题似乎是计算上棘手的。为了克服这一点,我们开发了一个有效的频谱算法,达到最佳的速率,但需要二次样本量。虽然这个样本的复杂性比最大割问题,我们猜想,没有多项式时间的方法可以执行更好。此外,我们收集的数值和理论证据,支持存在的计算差距。最后,我们推广的最大切割程序的$k$ -手段程序,处理多组分混合物可能不平等的权重。对于满足运输成本不等式的混合分布,它享有类似的最优性保证,包括高斯分布和强对数凹分布。
2021-11-29 cs.IT cs.LG math.IT
Hard-Clustering with Gaussian Mixture Models
Paderborn University(帕德博恩大学)
训练统计模型的参数来描述给定的数据集是数据采掘和机器学习领域的中心任务。最大似然估计(MLE)是一种非常流行和强大的参数估计方法。最广泛使用的统计模型是混合模型,特别是高斯分布的混合模型。MLE问题的一个流行的硬聚类变体是所谓的完全数据最大似然估计(CMLE)方法。解决CMLE问题的标准方法是分类期望最大化(CEM)算法。不幸的是,它只能保证算法收敛到目标函数的某个(可能是任意差的)稳定点。在本文中,我们提出了两个算法的限制版本的CMLE问题。也就是说,我们的算法近似合理的解决方案CMLE问题,满足一定的自然属性。此外,他们计算的解决方案,其成本(即完整数据对数似然值)最多是一个因素$(1+ε)$比我们搜索的解决方案的成本。注意,CMLE问题在其最一般的,即不受限制的形式中没有很好地定义,并且允许可以被认为是退化解的平凡最优解。
2016-03-21 cs.DS cs.LG
A Novel Theoretical Analysis for Clustering Heteroscedastic Gaussian Data without Knowledge of the Number of Clusters
Lab-STICC, IMT Atlantique(Lab-STICC,IMT Atlantique)
本文提出一种新的成本函数用于估计聚类中心,证明在测量向量数量和聚类中心距离足够大时,固定点即为聚类中心,并引入Wald核进行聚类,提出CENTRE-X算法在复杂度和性能上优于传统算法。
2026-04-02 cs.LG stat.ML
Efficient Multiscale Gaussian Process Regression using Hierarchical Clustering
University of Michigan(密歇根大学)
标准高斯过程(GP)回归是一种功能强大的机器学习工具,但在应用于大型数据集时计算量很大,并且在数据点稀疏分布于高维特征空间时可能不准确。为了解决这些挑战,提出了一种新的多尺度、稀疏GP算法,目标是应用于大型科学计算数据集。在这种方法中,数据被划分为聚类,聚类中心用于定义精简的训练集,从而在训练和评估成本方面优于标准GP。此外,分层技术用于自适应地将局部协方差表示映射到特征空间的底层稀疏性,从而在数据分布高度不均匀时提高预测精度。对该算法的计算复杂性进行了理论分析。这种方法的有效性,然后证明光滑和不连续的分析功能和数据从湍流燃烧的直接数值模拟。
2016-03-07 cs.LG stat.ML
Fuel Efficiency Analysis of the Public Transportation System Based on the Gaussian Mixture Model Clustering
University of Southern Denmark(南丹麦大学)
本研究采用高斯混合模型聚类并集成多种聚类有效性指标,分析丹麦公交数据,将行程分为四类燃油效率,发现驾驶习惯与路线特征显著影响燃油效率。
2025-01-21 cs.AI cs.LG
A novel k-means clustering approach using two distance measures for Gaussian data
School of Mathematical Sciences(数学科学学院);College of Science(科学学院);Rochester Institute of Technology(罗切斯特技术学院)
本文提出了一种结合簇内和簇间距离度量的新型k-means聚类方法,通过Calinski-Harabasz准则确定簇数,提高聚类结果的鲁棒性和准确性。
2026-07-31 cs.CE cs.LG stat.ME
Bridging Distribution Learning and Image Clustering in High-dimensional Space
University of Alberta(阿尔伯塔大学)
本文利用自编码器将图像映射到高维空间,通过蒙特卡洛边缘化和KL散度拟合高斯混合模型,实现分布学习与图像聚类的桥接,实验证明该方法优于经典EM算法。
2023-08-29 cs.CV cs.LG
Gaussian Mixture Generative Adversarial Networks for Diverse Datasets, and the Unsupervised Clustering of Images
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
生成对抗网络(GANs)已被证明可以生成逼真的合成图像,并取得了显着的成功,但当训练集高度多样化时,它们的性能似乎不那么令人印象深刻。当数据集包含许多不同的类时,为了更好地拟合目标数据分布,我们提出了一种基本GAN模型的变体,称为高斯混合GAN(GM-GAN),其中潜在空间上的概率分布是高斯的混合。我们还提出了一个有监督的变体,它能够有条件的样本合成。为了评估模型的性能,我们提出了一种新的评分方法,它分别考虑到两个(通常是冲突的)措施-多样性与质量的生成数据。通过一系列的实证实验,使用合成和真实世界的数据集,我们定量地表明,GM-GAN在使用常用的Inception Score进行评估时,以及使用我们自己的替代评分方法进行评估时,都优于基线。此外,我们定性地演示了如何的\textit{unsupervised}变体的GM-GAN倾向于映射从不同的高斯在潜在空间中的样本的数据空间中的不同类别的样本的潜在向量。我们展示了如何利用这种现象进行无监督聚类的任务,并提供定量评价,显示我们的方法的图像数据集的无监督聚类的优越性。最后,我们展示了一个功能,它进一步将我们的模型与其他GAN模型区分开来:通过改变潜在空间的概率分布来控制质量多样性权衡的选项。这允许人们根据自己的需要对更高质量和更低多样性的样本进行采样,反之亦然。
2018-08-30 cs.CV cs.LG stat.ML
Finite mixture of skewed sub-Gaussian stable distributions
Gonbad Kavous University(贡巴德卡武斯大学)
我们提出了有限混合偏亚高斯稳定分布。利用期望最大化算法计算有限混合模型参数的极大似然估计。所提出的模型包含正态和偏态正态分布的有限混合。由于所提出的模型的尾部甚至比学生的t分布,它可以被用来作为一个强大的模型,鲁棒的基于模型的聚类。通过对仿真数据和两组真实数据的聚类分析,验证了该模型的有效性。
2022-05-27 cs.LG stat.ME stat.ML
Causal Clustering for 1-Factor Measurement Models on Data with Various Types
Carnegie Mellon University(卡内基梅隆大学)
四元组约束是一个条件,其满足信号的协方差子矩阵的秩减少,并用于设计因果发现算法,检测潜在的(不可测量的)变量的存在,如FOFC。最初,这样的算法只适用于测量变量和潜在变量都是高斯的并且具有线性关系的情况(高斯-高斯情况)。它已被证明,一个一维潜变量模型意味着四元约束时,测量和潜变量都是二进制(Binary-Binary的情况下)。本文证明了当测量变量是混合数据类型和测量变量是离散的和潜在的共同原因是连续的,这意味着任何聚类算法依赖于此约束也可以工作在这些情况下,四元组约束。每个案例都有一个例子和一个证明。通过仿真研究表明了FOFC在混合数据上的性能,并与具有类似功能的一些算法进行了比较。
2020-09-18 cs.LG stat.ML
Disentangling to Cluster: Gaussian Mixture Variational Ladder Autoencoders
University of Oxford(牛津大学);Alan Turing Institute(艾伦·图灵研究所)
在聚类中,我们通常为每个数据点输出一个聚类变量。然而,情况并不一定是只有一种方法可以将给定的数据集划分为集群组件。例如,人们可以根据颜色或类型对对象进行聚类。不同的属性形成了一个层次结构,我们可以希望在其中任何一个中进行集群。通过将一些数据集的学习潜在表示分解为不同属性的不同层,我们可以在这些潜在空间中进行聚类。我们称之为“解纠缠聚类”。扩展变分梯形自动编码器(Zhao等人,2017),我们提出了一种聚类算法,VLAC,在SVHN的测试集上,它在数字身份的聚类精度上优于高斯混合DGM。我们还展示了学习集群联合在许多层的层次结构的潜在变量的数据,并显示组件明智的生成从这个层次模型。
2019-12-04 cs.LG stat.ML