Clustering in Partially Labeled Stochastic Block Models via Total Variation Minimization
Aalto University(阿尔托大学)
数据分析的一个主要任务是将数据点组织成连贯的组或簇。随机块模型是一种描述团簇结构的概率模型。该模型规定了不同的概率为一个集群内和不同的集群之间的边缘的存在。我们假设每个聚类中至少有一个数据点的聚类分配是已知的。在这种部分标记的随机块模型中,聚类相当于估计剩余数据点的聚类分配。我们研究总变差最小化作为这个聚类任务的方法。我们实现的聚类算法作为一个高度可扩展的消息传递协议。我们还提供了一个条件的模型参数,使总变差最小化允许准确的聚类。
2020-09-23 cs.LG stat.ML
Large Scale Clustering with Variational EM for Gaussian Mixture Models
University of Oldenburg(奥尔登堡大学)
本文提出了一个初步的(预审查)版本的次线性变分算法各向同性高斯混合模型(GRESS)。TPAMI(doi:10.1109/TPAMI.2021.3133763)在论文"A Variational EM Acceleration for Efficient Clustering at Very Large Scales"中公布了针对具有对角协方差阵(而不是各向同性聚类)的GARCH的算法的进一步发展及其相应的基准测试结果。我们请读者参考TPAMI论文,而不是这个更早的arXiv版本(TPAMI论文也是开放获取的)。本文附带了公开的源代码(参见https://github.com/variational-sublinear-clustering)。请注意,TPAMI论文不再包含8000万微小图像数据集的基准测试,因为我们遵循数据集创建者的呼吁,停止使用该数据集。该项目的目的(产生了这个arXiv版本和后来的TPAMI论文)是探索当前的效率和大规模限制,以拟合用于聚类的参数模型到数据分布。为了降低计算复杂度,我们使用了一个基于截断变分EM的聚类目标(这降低了许多聚类的复杂性)与coreset目标(这降低了许多数据点的复杂性)相结合。我们使用有效的coreset建设和有效的播种,将理论上的次线性复杂度收益转化为一个有效的算法。在标准的大规模集群基准测试的应用中,我们观察到了与已经非常高效的…
2022-06-21 cs.LG stat.ML
An empirical comparison between stochastic and deterministic centroid initialisation for K-Means variations
University of Sheffield(谢菲尔德大学);Numerical Algorithms Group (NAG)(数值算法集团(NAG))
K-Means是最常用的数据聚类算法之一,也是基准测试的常用聚类方法。尽管它的广泛应用,它是众所周知的,它遭受了一系列的缺点;它只能找到局部极小值和初始聚类中心(质心)的位置可以大大影响聚类解决方案。多年来,已经提出了许多K-Means变化和初始化技术,具有不同程度的复杂性。在这项研究中,我们专注于常见的K均值变化以及一系列确定性和随机初始化技术。我们发现,平均而言,更复杂的初始化技术减轻了复杂的聚类方法的需要。此外,确定性方法的性能优于随机方法。然而,有一个权衡:不太复杂的随机方法,多次执行,可以产生更好的聚类。考虑到执行时间,确定性方法可以是有竞争力的,并产生良好的集群解决方案。这些结论是通过使用一系列合成模型生成器和真实世界数据集进行广泛的基准测试获得的。
2021-02-27 cs.LG stat.ML
DIVA: A Dirichlet Process Mixtures Based Incremental Deep Clustering Algorithm via Variational Auto-Encoder
Technical University of Munich(慕尼黑工业大学);Politecnico di Milano(米兰理工大学);Chongqing University(重庆大学);Sun Yat-sen University(中山大学)
提出非参数深度聚类框架DIVA,利用无限高斯混合先验与记忆化在线变分推断实现簇的动态生成与合并,无需预设簇数,在动态增量特征复杂数据分类上优于现有基线。
2023-11-24 cs.LG stat.ML
Clustering of non-Gaussian data by variational Bayes for normal inverse Gaussian mixture models
Kogakuin University of Technology and Engineering(工学院大学)
有限混合模型,通常是高斯混合,是众所周知的,并广泛用作基于模型的聚类。在实际情况中,有许多非高斯数据是重尾和/或不对称的。正态逆高斯分布是正态方差均值,其混合密度是逆高斯分布,可以用于半尾和非对称性。对于NIG混合模型,期望最大化方法和变分贝叶斯(VB)算法已经被提出。然而,现有的VB算法对NIG混合物的混合密度的形状是有限的缺点。在本文中,我们提出了另一种VB算法的NIG混合,改进的缺点。我们还提出了一个扩展的Dirichlet过程混合模型,以克服在有限混合模型中确定集群的数量的困难。我们用人工数据评估了性能,发现它优于高斯混合和现有的NIG混合实现,特别是对于高度非规范的数据。
2020-09-13 cs.LG stat.ML
Federated Soft Clustering via Generalized Total Variation Minimization
Aalto University(阿尔托大学)
针对联邦学习中各设备持有私有数据并拟合个性化高斯混合模型的软聚类问题,提出广义全变差最小化框架,比较三种差异度量,并给出优化算法与收敛保证,评估了对数据异质性的鲁棒性。
2026-09-18 cs.LG stat.ML
Variational Information Bottleneck for Unsupervised Clustering: Deep Gaussian Mixture Embedding
Huawei Technologies(华为技术有限公司);Université Paris-Est(巴黎东大学)
在本文中,我们开发了一个无监督的生成聚类框架,结合了变分信息瓶颈和高斯混合模型。具体来说,在我们的方法中,我们使用变分信息瓶颈方法,并将潜在空间建模为高斯混合。我们推导了模型的代价函数的界,它推广了证据下界(ELBO),并给出了一个变分推理型算法来计算它,在该算法中,编码器的映射使用神经网络进行参数化,该界用Monte Carlo抽样近似,并用随机梯度下降进行优化。真实数据集上的数值结果提供了支持我们的方法的效率。
2020-02-27 cs.IT cs.LG math.IT
Parallel Total Variation Distance Estimation with Neural Networks for Merging Over-Clusterings
Universität Passau(帕绍大学)
我们考虑的初始情况下,一个数据集已被过度分割成$k$集群,并寻求一个域独立的方式来合并这些初始集群。我们确定总变异距离(TVD)适合这个目标。通过利用TVD的贝叶斯精度的关系,我们展示了如何神经网络可以用来估计TVD之间的所有对集群并行。重要的是,通过将所需的输出神经元数量从$k^2$减少到$k$,所需的存储空间减少了。在实际获得的ImageNet子集的过度聚类上,证明了我们的TVD估计比依靠最先进的无监督表示获得的合并决策更好。此外,通过对点云数据集的评估,验证了该方法的通用性。
2019-12-09 cs.CV cs.LG stat.ML
Can clustering scale sublinearly with its clusters? A variational EM acceleration of GMMs and $k$-means
标准$k$的一次迭代意味着(即,Lloyd算法)或用于高斯混合模型的标准EM(GARCH)与聚类$C$、数据点$N$和数据维度$D$的数量成线性比例。在这项研究中,我们探讨是否一个迭代的$k$ -均值或EM的GREEN可以缩放次线性与$C$在运行时,同时提高聚类目标仍然有效。我们用于降低复杂度的工具是变分EM,它通常用于训练具有指数级隐藏状态的生成模型。在这里,我们应用新的理论成果截断变分EM,使易于处理的聚类算法更有效。基本思想是使用部分变分E步骤,将完整E步骤所需的$\mathcal{O}(NCD)$的线性复杂度降低到亚线性复杂度。我们的主要观察是,对$C$的线性依赖性可以减少到一个小得多的参数$G$,它涉及到集群邻域关系的依赖性。我们专注于两个版本的部分变分EM聚类:变分GMM,缩放与$\mathcal{O}(NG^2D)$,和变分$k$ -手段,缩放与$\mathcal{O}(NGD)$每次迭代。实验结果表明,这些算法仍然需要相当数量的迭代,以提高聚类目标相同的值为$k$ -手段。对于具有许多集群的数据,我们因此观察到净计算需求减少了两到三个数量级。更一般地说,我们的研究结果提供了大量的经验证据,有利于集群规模与$C$次线性。
2018-04-17 stat.ML
Multi-Facet Clustering Variational Autoencoders
University of Oxford(牛津大学);University of Cambridge(剑桥大学);University College London(伦敦大学学院);Health Data Research UK(英国健康数据研究中心);The Alan Turing Institute(艾伦·图灵研究所);University of Manchester(曼彻斯特大学)
深度集群的工作重点是找到数据的单个分区。然而,高维数据(如图像)通常具有多个可以聚类的有趣特征。例如,在背景上的物体图像可以在物体的形状上聚类,并根据背景的颜色单独聚类。在本文中,我们介绍了多方面聚类变分自编码器(MFCVAE),这是一类新型的变分自编码器,具有一系列潜在变量,每个变量都具有混合高斯先验,可以同时学习多个聚类,并且完全无监督和端到端训练。MFCVAE使用渐进式训练的梯形架构,导致高度稳定的性能。我们提供了新的理论结果优化ELBO分析方面的分类变分后验分布,纠正早期有影响力的理论工作。在图像基准测试中,我们证明了我们的方法可以以一种解脱的方式分离和聚类数据的不同方面。我们还展示了我们的模型的其他优点:其潜在空间的组合性,它提供了控制生成的样本。
2021-10-29 cs.CV cs.LG stat.ME
An Alternative Metric for Detecting Anomalous Ship Behavior Using a Variation of the DBSCAN Clustering Algorithm
人们越来越需要快速准确地识别船舶中的异常行为。本文应用基于密度的噪声空间聚类算法(DBSCAN)的变化,以确定船舶的自动识别系统(AIS)数据的异常行为。DBSCAN算法的这种变化以前已经在文献中介绍过,在这项研究中,我们阐明和探索这种算法的数学细节,并介绍了一种替代的异常度量,这是统计信息比以前建议的。
2021-07-07 stat.AP stat.ME stat.ML
NeuralFLoC: Neural Flow-Based Joint Registration and Clustering of Functional Data
Institute of Mathematical Sciences, ShanghaiTech University(上海科技大学数学科学研究所)
本文提出NeuralFLoC,一种基于神经ODE驱动的 diffeomorphic 流和谱聚类的端到端深度学习框架,解决函数数据相位变化下的联合注册与聚类问题,实现相位和幅度变化的有效分离。
2026-04-29 cs.LG stat.ML
Clustering hidden Markov models with variational HEM
University of California, San Diego(加利福尼亚大学圣迭戈分校);City University of Hong Kong(香港城市大学)
隐马尔可夫模型(HMM)是一种广泛使用的生成模型,它处理序列数据,假设每个观察都以隐马尔可夫链的状态为条件。在本文中,我们推导出一种新的算法聚类的层次EM(HEM)算法的基础上的障碍。所提出的算法i)根据它们表示的分布,将给定的障碍物集合聚类成相似的障碍物组,以及ii)通过“聚类中心”来表征每个组,即,一种新的HMM,它代表了该组,其方式与HMM的底层生成模型一致。为了处理E步中的难以处理的推理,HEM算法被配制为变分优化问题,并且通过利用适当的变分近似来有效地解决HMM的情况。我们将所提出的算法称为变分HEM(VHEM),其优点在涉及时间序列数据的多个任务中得到了证明,例如运动捕捉序列的分层聚类,以及音乐和在线手写数据的自动注释和检索,显示了对当前方法的改进。特别是,我们的变分HEM算法通过使用高效的分层估计过程来学习注释模型时,有效地利用了大量数据,这减少了学习时间和内存需求,同时通过更好的正则化提高了模型的鲁棒性。
2012-10-24 cs.CV cs.LG stat.ML
Multi-Decoder RNN Autoencoder Based on Variational Bayes Method
Denso Corporation(电装公司);Toyohashi University of Technology(丰桥技术科学大学)
聚类算法在包括时间序列数据分析在内的数据分析领域有着广泛的应用和重要的作用。然而,在时间序列分析中,大多数算法使用信号的形状特征或神经网络隐变量的初始值。基于时间序列生成模型的方法,目前还没有得到广泛的讨论。在本文中,我们提出了一种新的聚类算法,侧重于产生过程的信号与一个循环神经网络和变分贝叶斯方法。实验结果表明,该算法不仅对相移、幅度和信号长度的变化具有鲁棒性,而且基于变分贝叶斯方法的特性,提供了一种灵活的聚类方法。
2020-04-29 cs.LG stat.AP stat.ML
Causal Learning for Heterogeneous Subgroups Based on Nonlinear Causal Kernel Clustering
East China University of Science and Technology(华东理工大学)
针对多源异构数据中单一因果模型无法准确表征所有观测数据复杂因果关系的问题,本文提出非线性因果核聚类方法,通过构建u中心样本映射函数聚类异质子群,有效识别子群因果关系差异并提升因果学习性能。
2025-02-08 cs.LG stat.ML
Estimating Staged Event Tree Models via Hierarchical Clustering on the Simplex
University of Genova(热那亚大学);IE University(IE大学);Universitat de València(瓦伦西亚大学)
本文提出利用简单集上的层次聚类估计分阶段事件树模型,通过比较不同距离和发散度度量,发现总变差与Ward.D2链接方法能提供更优的模型拟合和计算效率。
2026-03-16 cs.LG stat.ML
Regularized Spectral Clustering under the Degree-Corrected Stochastic Blockmodel
UW-Madison(威斯康星大学麦迪逊分校)
谱聚类是一种快速而流行的网络聚类算法。最近,Chaudhuri等人(2012)和Amini等人(2013)在2014年发表了关于生物多样性的论文。(2012)提出了算法的灵感变化,人为地增加节点度以提高统计性能。目前的文件扩展了以前的统计估计结果,更规范的谱聚类算法的方式,删除任何假设的最小程度,并提供指导的调谐参数的选择。此外,我们的研究结果表明,“星形”的特征向量-经验网络的一个共同特征-可以解释度校正随机块模型和扩展种植分区模型,两个统计模型,允许高度异构度。在整个过程中,本文的特点和理由的谱聚类算法的变化,这些模型。
2013-09-16 cs.LG math.ST stat.ML
Multiscale Clustering of Hyperspectral Images Through Spectral-Spatial Diffusion Geometry
Tufts University(塔夫茨大学)
聚类算法将数据集划分为相似点的组。本文的主要贡献是多尺度空间正则化扩散学习(M-SRDL)聚类算法,该算法使用空间正则化扩散距离来高效准确地学习高光谱图像中潜在结构的多个尺度。M-SRDL聚类算法从高光谱图像中提取多个尺度的聚类,并输出这些聚类的信息重心变化作为所有潜在聚类结构的样本。我们表明,将空间正则化到一个多尺度聚类框架的结果更平滑,更连贯的集群时,应用于高光谱数据,产生更准确的聚类标签。
2022-04-07 cs.CV cs.LG stat.ML
Tech Report A Variational HEM Algorithm for Clustering Hidden Markov Models
University of California, San Diego(加州大学圣地亚哥分校);City University of Hong Kong(香港城市大学)
隐马尔可夫模型(HMM)是一种生成模型,它在假设每个观测值都以离散隐变量的状态为条件的情况下处理序列数据,该隐变量随时间演变为马尔可夫链。在本文中,我们推导出一种新的算法,通过它们的概率分布聚类的障碍。我们提出了一种分层EM算法,该算法i)将给定的障碍物集合聚类成在它们表示的分布方面相似的障碍物组,以及ii)通过“聚类中心”来表征每个组,即,一种新的HMM,是该集团的代表。我们提出了几个实证研究,说明所提出的算法的好处。
2011-09-06 cs.AI stat.ML
Adaptive Evolutionary Clustering
University of Michigan(密歇根大学);Omek Interactive
在聚类的许多实际应用中,待聚类的对象随着时间的推移而演变,并且在每个时间步都期望聚类结果。在这些应用中,进化聚类通常优于传统的静态聚类,因为它产生的聚类结果反映了长期趋势,同时对短期变化具有鲁棒性。最近已经提出了几种进化聚类算法,通常通过在静态聚类方法的成本函数中添加时间平滑惩罚来实现。在本文中,我们介绍了一种不同的方法来进化聚类,通过准确地跟踪对象之间随时间变化的接近度,然后进行静态聚类。我们提出了一个进化聚类框架,自适应估计最佳平滑参数使用收缩估计,统计方法,提高了天真的估计使用额外的信息。所提出的框架可以用来扩展各种静态聚类算法,包括层次,k-means,谱聚类,进化聚类算法。在合成数据集和真实数据集上的实验表明,该框架在许多情况下优于静态聚类和现有的进化聚类算法。
2013-02-19 cs.LG stat.ML
Application of Bounded Total Variation Denoising in Urban Traffic Analysis
1 School of Mathematical Sciences, University of Chinese Academy of Sciences;LSEC, Institute of Computational Mathematics;Scientific/Engineering Computing, Academy of Mathematics;Systems Science, Beijing 100190, China 2 NCMIS \& LSEC, Institute of Computational Mathematics;School of Mathematical Sciences, University of Chinese Academy of Sciences
本文提出利用 bounded 总变差去噪方法提升城市交通分析的准确性,通过改进的去噪算法和神经网络结合历史匹配方法,提高了交通预测和聚类的性能。
2019-02-25 cs.LG cs.NA math.NA
Analysis of spectral clustering algorithms for community detection: the general bipartite setting
我们认为谱聚类算法的社区检测下一般的二分随机块模型(SBM)。现代谱聚类算法由三个步骤组成:(1)适当的邻接矩阵或拉普拉斯矩阵的正则化(2)谱截断的形式和(3)减少谱域中的k-means型算法。我们专注于基于邻接的谱聚类,并为第一步,提出了一种新的数据驱动的正则化,即使对于稀疏网络,也可以恢复邻接矩阵的浓度。这个结果是基于最近的随机二进制矩阵的正则化工作,但避免使用未知的人口水平参数,而是从数据中估计必要的数量。我们还提出并研究了一种新的变化的频谱截断步骤,并显示这种变化如何改变的性质的误分类率在一般的SBM。然后,我们将展示如何将一致性结果扩展到SBM之外的模型,例如具有近似聚类的非均匀随机图模型,包括图子聚类问题,以及一般的亚高斯双聚类。本文的一个主题是提供一个更好的理解分析的谱方法社区检测和建立一致性的结果,在相当一般的聚类模型和广泛的制度的程度增长,包括稀疏的情况下,平均预期的程度增长任意缓慢。
2018-12-22 cs.SI math.ST stat.ML
Neighborhood Selection for Thresholding-based Subspace Clustering
子空间聚类是指将高维数据点聚类到一个低维线性子空间的并集中的问题,其中子空间的数量,它们的维度和方向都是未知的。在本文中,我们提出了一个变化,最近推出的基于阈值的子空间聚类(TSC)算法,它适用于谱聚类的邻接矩阵构造从最近的邻居的每个数据点相对于球面距离测量。新元素驻留在最近邻居数量的单个数据驱动选择中。以前的性能结果TSC,以及其他子空间聚类算法的基础上,谱聚类,来在一个中间的性能指标,这并不直接解决聚类错误。我们的主要分析贡献是一个性能分析的修改TSC算法(以及原TSC算法)的聚类误差直接。
2014-03-13 cs.IT math.IT stat.ML