VDPC: Variational Density Peak Clustering Algorithm
College of Information Engineering, Yangzhou University(扬州大学信息工程学院);Institute of Scientific and Technical Information of China(中国科学技术信息研究所);School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly, Nanyang Technological University(南洋理工大学-不列颠哥伦比亚大学老年人积极生活卓越联合研究中心);Joint NTU-WeBank Research Centre on Fintech, Nanyang Technological University(南洋理工大学-微众银行金融科技联合研究中心)
广泛应用的密度峰值聚类(DPC)算法提出了一个直观的聚类形成假设,即聚类中心通常被具有较低局部密度的数据点包围,并且远离其他具有较高局部密度的数据点。然而,这种假设受到一个限制,即当识别具有较低密度的集群时,它通常是有问题的,因为它们可能很容易合并到具有较高密度的其他集群中。因此,DPC可能无法识别具有变化密度的聚类。为了解决这个问题,我们提出了一个变分密度峰值聚类(VDPC)算法,它的目的是系统和自主地执行聚类任务的数据集与各种类型的密度分布。具体而言,我们首先提出了一种新的方法来确定所有数据点之间的代表,并构建初始聚类的基础上确定的代表进一步分析的集群的属性。此外,我们将所有的数据点划分为不同的级别,根据其局部密度,并提出了一个统一的聚类框架,结合DPC和DBSCAN的优点。因此,系统地处理跨越不同密度水平的所有识别的初始聚类以形成最终聚类。为了评估所提出的VDPC算法的有效性,我们进行了广泛的实验,使用20个数据集,包括8个合成,6个真实世界和6个图像数据集。实验结果表明,VDPC算法优于两种经典算法(即,DPC和DBSCAN)和四种最先进的扩展DPC算法。
2021-12-29 cs.AI cs.LG
Variational Co-embedding Learning for Attributed Network Clustering
Data Science Institute, University of Technology Sydney(悉尼科技大学数据科学研究所);School of Information Technology, Deakin University(迪肯大学信息技术学院);School of Computer Science and Engineering, University of New South Wales(新南威尔士大学计算机科学与工程学院);School of Computer Science, University of Technology Sydney(悉尼科技大学计算机科学学院)
最近的工作,属性网络聚类利用图卷积获得节点嵌入,同时执行嵌入空间上的聚类分配。由于图卷积结合了节点嵌入学习的结构和属性信息,因此是有效的。然而,这样的工作的一个主要局限性是,图卷积只结合了来自节点的局部邻域的属性信息,但未能利用节点和属性之间的相互亲和力。在这方面,我们提出了一个变分共嵌入学习模型属性网络聚类(VCLANC)。VCLANC是由双变分自动编码器,同时嵌入节点和属性。在此基础上,从嵌入空间中重构出节点与属性之间的相互亲和度信息,作为额外的自监督知识用于表示学习。同时,可训练的高斯混合模型被用作先验知识来推断节点聚类分配。为了加强推断的集群的性能,我们使用的高斯先验的中心和聚类分配硬化损失的节点嵌入的相互距离损失。四个真实世界的属性网络数据集上的实验结果表明,所提出的VCLANC属性网络聚类的有效性。
2021-04-15 cs.AI cs.LG stat.ML
Hierarchical Clustering using Auto-encoded Compact Representation for Time-series Analysis
TCS Research, TATA Consultancy Services(塔塔咨询服务公司TCS研究院)
获得一个强大的时间序列聚类与最佳的距离测量和适当的表示选择总是一个挑战。我们提出了一种新的机制来识别集群,该机制结合了习得的时间序列紧凑表示、自动编码紧凑序列(AECS)和分层聚类方法。该算法利用递归神经网络(Recurrent Neural Network,RNN)在完全序列到序列(Sequence to Sequence,seq2seq)下进行分层聚类,以解决学习的潜在表示AECS的长度远小于原始时间序列长度的问题,同时提高其性能。自动编码器和凝聚层次聚类,选择最佳距离度量来推荐最佳聚类。我们的计划选择最好的距离测量和相应的聚类单变量和多变量的时间序列。我们已经实验了真实世界的时间序列从UCR和UCI存档采取不同的应用领域,如健康,智能城市,制造业等实验结果表明,该方法不仅产生接近基准的结果,但在某些情况下也优于基准。
2021-01-11 cs.AI cs.LG
Unsupervised Visual Time-Series Representation Learning and Clustering
Queensland University of Technology(昆士兰科技大学)
时间序列数据无处不在地从物联网(IoT)基础设施、连接和可穿戴设备、遥感、自动驾驶研究以及大量的音频视频通信中产生。本文探讨了这些时间序列的无监督表示学习的潜力。在本文中,我们使用一种新的数据转换以及新的无监督学习机制将学习从其他领域转移到时间序列,其中前者具有在非常大的标记数据集上进行大量训练的广泛模型。我们进行了广泛的实验,以证明所提出的方法,通过时间序列聚类的潜力。
2021-11-19 cs.AI cs.LG
Variational Fair Clustering
Xidian University(西安电子科技大学)
我们提出了一个通用的变分框架的公平聚类,它集成了一个原始的Kullback-Leibler(KL)的公平项与一大类的聚类目标,包括原型或图形为基础。从根本上不同于现有的组合和光谱的解决方案,我们的变分多项的方法,使控制公平性和聚类目标之间的权衡水平。我们推导出一个一般的紧上界的基础上,我们的公平项,它的Lipschitz梯度性质和Pinsker不等式的凹凸分解。我们的严格上限可以与各种聚类目标联合优化,同时产生一个可扩展的解决方案,并保证收敛。有趣的是,在每次迭代中,它为每个赋值变量执行独立的更新。因此,它可以很容易地分布到大规模的数据集。这种可扩展性很重要,因为它可以探索公平性和聚类目标之间的不同权衡级别。与谱松弛不同,我们的公式不需要计算其特征值分解。我们报告全面的评估和比较,与国家的最先进的方法在各种公平的聚类基准,这表明我们的变分配方可以产生极具竞争力的解决方案的公平性和聚类目标。
2020-12-04 cs.LG stat.ML
Similarity Preserving Representation Learning for Time Series Clustering
UT Austin(德克萨斯大学奥斯汀分校);JD AI Research(京东人工智能研究院);IBM Research(IBM研究院);Amazon(亚马逊)
大量的聚类算法将实例特征矩阵作为其输入。因此,它们不能直接分析时间序列数据,因为它的时间性质,通常不相等的长度和复杂的属性。这是一个很大的遗憾,因为许多这些算法是有效的,健壮的,高效的,易于使用。在本文中,我们提出了一个有效的表示学习框架,能够将一组不同长度的时间序列转换为实例特征矩阵,从而弥合了这一差距。特别是,我们保证时间序列之间的成对相似性在变换后得到很好的保留,因此学习的特征表示特别适合于时间序列聚类任务。给定一组$n$时间序列,我们首先通过随机抽取$\mathcal{O}(n \log n)$对时间序列并计算它们的成对相似性来构造$n\times n$部分观察相似性矩阵。然后,我们提出了一个有效的算法,解决了一个非凸和NP-困难的问题,学习新的功能的基础上部分观察到的相似性矩阵。通过进行广泛的实证研究,我们表明,所提出的框架是更有效的,高效的,灵活的,相比其他国家的最先进的时间序列聚类方法。
2019-06-02 cs.AI cs.LG
Learning Latent Superstructures in Variational Autoencoders for Deep Multidimensional Clustering
The Hong Kong University of Science and Technology(香港科技大学);The Education University of Hong Kong(香港教育大学)
我们研究了变分自编码器的一个变体,其中在潜在特征之上存在离散潜在变量的上层结构。一般来说,我们的超结构是一个树结构的多个超级潜在的变量,它是自动学习的数据。当上层结构中只有一个潜在变量时,我们的模型简化为假设潜在特征从高斯混合模型生成的模型。我们称我们的模型为潜在树变分自编码器(LTVAE)。以前的深度学习聚类方法只产生一个数据分区,而LTVAE产生多个数据分区,每个分区由一个超级潜在变量给出。这是可取的,因为高维数据通常具有许多不同的自然方面,并且可以以多种方式进行有意义的分区。
2019-02-22 cs.LG
A Robust Speaker Clustering Method Based on Discrete Tied Variational Autoencoder
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
目前,基于聚合层次聚类(AHC)的说话人聚类模型是解决无预设类别数聚类和固定类别数聚类两个主要问题的常用方法。一般情况下,模型以i向量等特征作为概率的输入,线性判别分析模型(PLDA)的目的是在长语音应用场景中形成距离矩阵,然后通过聚类模型得到聚类结果。然而,传统的基于AHC的说话人聚类方法存在运行时间长、对环境噪声敏感等缺点。本文提出了一种基于互信息和离散变量非线性模型的说话人聚类方法,该方法在Tied Variational Autoencoder(TVAE)的启发下,提高了说话人聚类算法对噪声的鲁棒性。提出的方法命名为离散捆绑变分自动编码器(DTVAE),大大缩短了耗时。根据经验结果,它优于一般模型,并产生相对精度(ACC)的改善和显着的时间减少。
2020-03-04 cs.LG cs.SD eess.AS
Cancer Subtyping by Improved Transcriptomic Features Using Vector Quantized Variational Autoencoder
Osaka University(大阪大学);Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Yunnan University(云南大学)
定义和分离癌症亚型对于促进个性化治疗模式和患者预后至关重要。亚型的定义随着我们理解的加深而不断被重新校准。在这种重新校准过程中,研究人员通常依赖于癌症数据的聚类,以提供直观的视觉参考,从而揭示亚型的内在特征。被聚类的数据通常是组学数据,如转录组学,与潜在的生物学机制有很强的相关性。然而,尽管现有的研究已经显示出有希望的结果,但它们受到与组学数据相关的问题的困扰:样本稀缺和高维。因此,现有的方法往往强加不切实际的假设,从数据中提取有用的功能,同时避免过度拟合虚假的相关性。在本文中,我们建议利用最近的强大的生成模型,矢量量化变分自编码器(VQ-VAE),以解决数据问题,并提取信息的潜在特征,这是至关重要的后续聚类的质量只保留相关的信息重建输入。VQ-VAE不强加严格的假设,因此其潜在特征是输入的更好表示,能够使用任何主流聚类方法产生卓越的聚类性能。对包括10种不同癌症的多个数据集进行的广泛实验和医学分析表明,VQ-VAE聚类结果可以显着且稳健地改善流行亚型系统的预后。
2022-07-20 cs.AI cs.LG
CSI Clustering with Variational Autoencoding
Technical University of Munich(慕尼黑工业大学)
无线信道的模型阶数对于通信工程中的各种应用起着重要作用,例如,它表示从发射机入射到接收机的具有不可忽略的功率的可分辨入射波前的数目。诸如波达方向估计的领域利用模型阶数来分析信道状态信息的多径分量。在这项工作中,我们建议使用一个变分自动编码器组未标记的信道状态信息相对于模型的顺序在变分自动编码器的潜在空间中的无监督的方式。我们验证了我们的方法与模拟3GPP信道数据。我们的研究结果表明,为了学习适当的聚类,至关重要的是使用一个更灵活的似然模型的变分自动编码器解码器比它通常是在标准应用程序的情况下。
2022-10-27 cs.LG eess.SP
Learning Robust Representation for Clustering through Locality Preserving Variational Discriminative Network
Center for Data Science, Peking University(北京大学数据科学中心);MOE Key Laboratory of Computational Linguistic, School of EECS, Peking University(北京大学信息科学技术学院计算语言学教育部重点实验室);Mizuho Securities Co.,Ltd(瑞穗证券株式会社)
聚类是无监督学习的基本问题之一。最近的基于深度学习的方法专注于学习面向聚类的表示。在这些方法中,变分深度嵌入通过在潜在空间之前指定高斯混合,在各种聚类任务中取得了巨大的成功。然而,VaDE存在两个问题:1)它对输入噪声很脆弱; 2)它忽略了相邻数据点之间的局部信息。在本文中,我们提出了一个联合学习框架,改进了VaDE与鲁棒的嵌入式和局部结构约束,这都有助于提高我们的模型的鲁棒性。在各种视觉和文本数据集上的实验结果表明,我们的方法在所有指标上都优于最先进的基线模型。进一步的详细分析表明,我们提出的模型是非常强大的对抗性输入,这是一个理想的属性,为实际应用。
2021-03-11 cs.LG
LDTC: Lifelong deep temporal clustering for multivariate time series
School of Computer Science and Technology, Xidian University(电子科技大学计算机科学与技术学院)
LDTC通过整合降维和时序聚类,提出了一种端到端深度无监督学习框架,有效解决动态多变量时间序列的聚类问题。
2026-01-09 cs.AI cs.LG
AUTOSHAPE: An Autoencoder-Shapelet Approach for Time Series Clustering
Hong Kong Baptist University(香港浸会大学);Nanyang Technological University(南洋理工大学);The Chinese University of Hong Kong(香港中文大学)
时间序列形状是最近发现的有效的时间序列聚类(TSC)的歧视性的顺序。形状图便于解释聚类。因此,TSC的主要挑战是发现高质量的可变长度形状来区分不同的聚类。在本文中,我们提出了一种新的autoencoder-shapelet方法(AUTOSHAPE),这是第一个研究,以利用autoencoder和shapelet确定shapelet在无监督的方式。一个自动编码器是专门设计来学习高质量的形状。更具体地说,为了指导潜在的表示学习,我们采用最新的自监督损失来学习不同变量的可变长度shapelet候选(时间序列连续性)的统一嵌入,并提出多样性损失来选择统一空间中的区别性嵌入。我们引入重建损失来恢复原始时间序列空间的形状,以进行聚类。最后,我们采用Davies Bouldin索引(DBI)来通知AUTOSHAPE学习过程中的聚类性能。我们在AUTOSHAPE上进行了大量的实验。为了评估单变量时间序列(UTS)的聚类性能,我们使用UCR存档数据集将AUTOSHAPE与15种代表性方法进行了比较。为了研究多变量时间序列(MTS)的性能,我们使用5种竞争方法在30个UEA存档数据集上评估AUTOSHAPE。实验结果表明,AUTOSHAPE是所有方法中最好的一种。我们解释集群的形状,并可以得到有趣的直觉集群在两个UTS的案例研究和一个MTS的案例研究,分别。
2022-08-18 cs.AI cs.LG
Large Scale Clustering with Variational EM for Gaussian Mixture Models
University of Oldenburg(奥尔登堡大学)
本文提出了一个初步的(预审查)版本的次线性变分算法各向同性高斯混合模型(GRESS)。TPAMI(doi:10.1109/TPAMI.2021.3133763)在论文"A Variational EM Acceleration for Efficient Clustering at Very Large Scales"中公布了针对具有对角协方差阵(而不是各向同性聚类)的GARCH的算法的进一步发展及其相应的基准测试结果。我们请读者参考TPAMI论文,而不是这个更早的arXiv版本(TPAMI论文也是开放获取的)。本文附带了公开的源代码(参见https://github.com/variational-sublinear-clustering)。请注意,TPAMI论文不再包含8000万微小图像数据集的基准测试,因为我们遵循数据集创建者的呼吁,停止使用该数据集。该项目的目的(产生了这个arXiv版本和后来的TPAMI论文)是探索当前的效率和大规模限制,以拟合用于聚类的参数模型到数据分布。为了降低计算复杂度,我们使用了一个基于截断变分EM的聚类目标(这降低了许多聚类的复杂性)与coreset目标(这降低了许多数据点的复杂性)相结合。我们使用有效的coreset建设和有效的播种,将理论上的次线性复杂度收益转化为一个有效的算法。在标准的大规模集群基准测试的应用中,我们观察到了与已经非常高效的…
2022-06-21 cs.LG stat.ML
COBRAS-TS: A new approach to Semi-Supervised Clustering of Time Series
KU Leuven(鲁汶大学)
聚类在数据分析中是普遍存在的,包括对时间序列的分析。它本质上是主观的:不同的用户可能喜欢对特定数据集进行不同的聚类。半监督聚类通过允许用户提供应该(不应该)在同一个集群中的实例的示例来解决这个问题。本文研究了时间序列的半监督聚类问题。我们表明,COBRAS,一个国家的最先进的半监督聚类方法,可以适应这种设置。我们将这种方法称为COBRAS-TS。广泛的实验评估支持以下声明:(1)COBRAS-TS在时间序列的半监督聚类方面远远优于当前的技术水平,因此为该领域提供了一个新的基线;(2)COBRAS-TS可以识别具有分离分量的聚类;(3)COBRAS-TS可以识别以小的局部模式为特征的聚类;(4)少量的半监督可以大大提高时间序列的聚类质量;(5)聚类算法的选择很重要(与文献中的早期权利要求相反)。
2018-05-02 cs.AI cs.LG stat.ML
Unsupervised Clustering of Roman Potsherds via Variational Autoencoders
University of Cambridge(剑桥大学)
在本文中,我们提出了一个人工智能成像解决方案,以支持考古学家在罗马陶器碎片的分类任务。通常,每个陶片都以其截面轮廓作为二维的黑白图像来表示,并印刷在与特定考古发掘相关的考古书籍中。片段的随机和手工方差使得它们的匹配成为一个具有挑战性的问题:我们建议通过在深度卷积变分自编码器(VAE)网络的潜在空间中学习的非线性特征的无监督分层聚类来配对相似的配置文件。我们的贡献还包括创建一个罗马陶瓷(ROCOPOT)数据库,从25个罗马陶器语料库中提取了4000多个陶片配置文件,以及一个MATLAB GUI软件,用于轻松检查形状相似性。从数学和考古学的角度对结果进行了评论,以便在两个社区中解锁新的研究方向。
2022-03-14 cs.AI cs.CV cs.DB
Variational Information Bottleneck for Unsupervised Clustering: Deep Gaussian Mixture Embedding
Huawei Technologies(华为技术有限公司);Université Paris-Est(巴黎东大学)
在本文中,我们开发了一个无监督的生成聚类框架,结合了变分信息瓶颈和高斯混合模型。具体来说,在我们的方法中,我们使用变分信息瓶颈方法,并将潜在空间建模为高斯混合。我们推导了模型的代价函数的界,它推广了证据下界(ELBO),并给出了一个变分推理型算法来计算它,在该算法中,编码器的映射使用神经网络进行参数化,该界用Monte Carlo抽样近似,并用随机梯度下降进行优化。真实数据集上的数值结果提供了支持我们的方法的效率。
2020-02-27 cs.IT cs.LG math.IT
FMMVCC: Fuzzy Mamba-based Multi-View Contrastive Clustering for Univariate Time Series
针对大量带有限或昂贵注释的时间序列数据,介绍基于曼巴的深度聚类框架FMMVCC。它利用状态空间序列建模及多视图自监督学习,在15个基准数据集实验中优于现有基线,在多指标评估中表现出色。
2026-07-09 cs.AI cs.LG
A variational approach to the consistency of spectral clustering
本文建立了数据聚类的谱方法的一致性。我们认为聚类的点云作为一个地面实况测量的样本。表示点云的图是通过基于它们连接的点之间的距离向边分配权重来获得的。我们研究了非规范化和规范化的图拉普拉斯算子在连续域中对相应算子的谱收敛性。我们得到尖锐的条件,如何连接半径可以缩放相对于频谱收敛的样本点的数量。我们还表明,通过谱聚类得到的离散集群收敛到一个连续的地面真值测量分区。这样的连续分区最小化的功能描述的连续模拟的基于图形的光谱分区。我们的方法,变分收敛的基础上,是通用的和灵活的。
2015-08-08 cs.LG math.ST stat.ML
Variational Graph Generator for Multi-View Graph Clustering
University of Electronic Science and Technology of China(电子科技大学);Virginia Tech(弗吉尼亚理工大学);Shenzhen Institute for Advanced Study, University of Electronic Science and Technology of China(电子科技大学深圳高等研究院);Sichuan University(四川大学);Shantou University(汕头大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校);Lehigh University(理海大学)
针对多视图图聚类无法同时利用共识图信息与视图特有特征信息的问题,提出变分图生成器VGMGC,通过推断变分共识图并结合图编码器学习图嵌入,显著提升了聚类性能。
2024-12-23 cs.LG
Bridging the Gap: A Decade Review of Time-Series Clustering Methods
The Ohio State University(俄亥俄州立大学)
本文综述了时间序列聚类方法十年来的发展,从经典方法到深度学习算法,提出统一分类体系以弥合传统与新兴方法之间的差距,并为未来研究提供指导。
2024-12-29 cs.AI cs.DB cs.LG
Clustering with Communication: A Variational Framework for Single Cell Representation Learning
New Jersey Institute of Technology(新泽西理工学院)
本文提出CCCVAE框架,通过整合细胞间通信信号提升单细胞表示学习的聚类性能。
2025-12-26 cs.AI cs.LG stat.ML
A Data-Informed Variational Clustering Framework for Noisy High-Dimensional Data
Department of Mathematics, Fu Jen Catholic University, Taipei, Taiwan(辅仁大学数学系,台北,台湾)
本文提出DIVI框架,结合全局特征门控与基于分割的自适应结构生长,以稳定优化并学习特征相关性,提升高维噪声环境下聚类性能。
2026-04-08 cs.LG stat.ML
BasisVAE: Translation-invariant feature-level clustering with Variational Autoencoders
University of Oxford(牛津大学);Alan Turing Institute(艾伦·图灵研究所);University of Birmingham(伯明翰大学);University of Manchester(曼彻斯特大学)
变分自动编码器(VAE)为非线性降维提供了一个灵活且可扩展的框架。然而,在应用领域,如基因组学的数据集通常是表格和高维的,黑盒方法降维不能提供足够的见解。常见的数据分析工作流还使用聚类技术来识别相似特征的组。这通常会导致一个两阶段的过程,但是,这将是可取的,以建立一个联合建模框架,同时降维和聚类的功能。在本文中,我们建议通过BasisVAE来实现这一点:VAE和概率聚类先验的组合,它让我们学习一个独热基函数表示作为解码器网络的一部分。此外,对于不是所有特征都对齐的情况,我们开发了一个扩展来处理双线性不变基函数。我们展示了如何崩溃的变分推断计划导致可扩展的和有效的推理BasisVAE,演示各种玩具的例子,以及单细胞基因表达数据。
2020-03-06 cs.LG q-bio.GN stat.ML
DIVA: A Dirichlet Process Mixtures Based Incremental Deep Clustering Algorithm via Variational Auto-Encoder
Technical University of Munich(慕尼黑工业大学);Politecnico di Milano(米兰理工大学);Chongqing University(重庆大学);Sun Yat-sen University(中山大学)
提出非参数深度聚类框架DIVA,利用无限高斯混合先验与记忆化在线变分推断实现簇的动态生成与合并,无需预设簇数,在动态增量特征复杂数据分类上优于现有基线。
2023-11-24 cs.LG stat.ML
Deep Clustering of Compressed Variational Embeddings
Duke University(杜克大学);University of Minnesota-Twin Cities(明尼苏达大学双城分校)
出于对有限的通信带宽和低功耗的需求不断增长,我们提出了一种新的方法,命名为联合变分自动编码器与伯努利混合模型(VAB),在压缩数据域进行聚类。其思想是通过变分自编码器(VAE)降低数据维度,并通过伯努利混合模型(BAE)对数据表示进行分组。一旦针对压缩和聚类进行了联合训练,模型就可以分解为两个部分:将原始数据编码为压缩数据的数据供应商,以及对接收到的(压缩)数据进行分类的数据消费者。通过这种方式,数据供应商受益于数据安全性和通信带宽,而数据消费者受益于低计算复杂性。为了使用梯度下降算法进行训练,我们建议使用Gumbel-Softmax分布来解决在评估分类样本时反向传播算法的不可行性。
2019-10-23 cs.LG eess.IV stat.ML
SE-shapelets: Semi-supervised Clustering of Time Series Using Representative Shapelets
School of Information Technology, Deakin University(迪肯大学信息技术学院);School of Computer Science and Engineering, University of New South Wales(新南威尔士大学计算机科学与工程学院);Data61 in CSIRO(澳大利亚联邦科学与工业研究组织Data61)
针对现有时间序列聚类方法难以发现代表性Shapelets导致精度低的问题,提出SE-Shapelets方法,利用少量标记和伪标记数据,结合显著子序列链和线性判别选择技术,在UCR数据集上取得更高聚类精度。
2023-11-15 cs.LG
Simple, Scalable, and Stable Variational Deep Clustering
King Digital Entertainment, Activision Blizzard Group(动视暴雪集团King数字娱乐公司);Uppsala University(乌普萨拉大学)
深度聚类(DC)已经成为无监督聚类的最新技术。原则上,DC代表了各种无监督方法,这些方法直接从非结构化数据集中联合学习底层聚类和潜在表示。然而,DC方法通常由于操作成本高、可扩展性低和结果不稳定而应用不佳。在本文中,我们首先使用八个经验标准在工业适用性的背景下评估几个流行的DC变体。然后,我们选择专注于变分深度聚类(VDC)方法,因为它们大多符合这些标准,除了简单性,可扩展性和稳定性。为了解决这三个未满足的标准,我们介绍了四个通用算法的改进:初始$γ$ -训练,定期$β$ -退火,小批量GMM(高斯混合模型)初始化,和逆最小最大变换。我们还提出了一种新的聚类算法S3 VDC(简单,可扩展,稳定的VDC),结合所有这些改进。我们的实验表明,S3 VDC在基准任务和大型非结构化工业数据集上都优于最先进的技术,而没有任何地面真实标签。此外,我们分析评估的可用性和可解释性的S3 VDC。
2020-05-21 cs.LG stat.ML
Deep Unsupervised Clustering with Gaussian Mixture Variational Autoencoders
Imperial College London(帝国理工学院)
我们研究了变分自编码器模型(VAE)的一个变体,该模型以高斯混合作为先验分布,目标是通过深度生成模型执行无监督聚类。我们观察到,已知的问题,已被证明出现在定期VAE也体现在我们的模型,并导致集群退化。我们表明,一个启发式称为最小信息约束,已被证明可以减轻这种影响VAE也可以应用于提高无监督聚类性能与我们的模型。此外,我们分析了这种启发式的效果,并提供了直观的各种过程的可视化的帮助。最后,我们证明了我们的模型在合成数据,MNIST和SVHN上的性能,表明所获得的聚类是独特的,可解释的,并导致在无监督聚类上达到与最先进的结果竞争的性能。
2017-01-13 cs.LG cs.NE stat.ML
A Deep Variational Approach to Clustering Survival Data
ETH Zürich(苏黎世联邦理工学院);Human Technopole(人类技术园);University Hospital Basel(巴塞尔大学医院);University Children’s Hospital Basel(巴塞尔大学儿童医院);University of Zürich(苏黎世大学);Politecnico di Milano(米兰理工大学);St. Gallen Cantonal Hospital(圣加仑州立医院)
在这项工作中,我们研究了生存数据的聚类问题$-$一个具有挑战性的,迄今尚未开发的任务。我们引入了一种新的半监督概率方法来聚类生存数据,利用随机梯度变分推理的最新进展。与以前的工作相比,我们提出的方法采用了一个深度生成模型来揭示解释变量和删失生存时间的潜在分布。我们将我们的模型与生存数据的聚类和混合模型的相关工作进行了比较,这些数据是在广泛的合成,半合成和真实世界数据集(包括医学成像数据)上进行的综合实验。我们的方法在识别聚类方面表现更好,在预测生存时间方面具有竞争力。依靠新的生成假设,所提出的模型提供了一个整体的角度聚类生存数据,并持有的承诺,发现亚群的生存是由不同的生成机制。
2022-03-10 cs.LG stat.ML
Unsupervised Clustering of Time Series Signals using Neuromorphic Energy-Efficient Temporal Neural Networks
Carnegie Mellon University(卡内基梅隆大学)
无监督时间序列聚类是异常检测、生物可穿戴设备等各种工业应用中的一个具有挑战性的问题。这些应用通常涉及收集和处理实时传感信号的边缘小型低功耗设备。最先进的时间序列聚类方法执行某种形式的损失最小化,从边缘设备的角度来看,这是非常计算密集的。在这项工作中,我们提出了一种基于时间神经网络的无监督时间序列聚类的神经形态方法,该方法能够实现超低功耗,连续在线学习。我们在UCR时间序列档案数据集的一个子集上展示了它的集群性能。我们的研究结果表明,所提出的方法要么优于或执行类似于大多数现有的算法,同时更适合高效的硬件实现。我们的硬件评估分析表明,在7 nm CMOS的建议架构,平均而言,仅消耗约0.005 mm^2的芯片面积和22 uW的功率,可以处理每个信号约5 ns的延迟。
2021-02-18 cs.AI cs.ET cs.LG
$k$-Graph: A Graph Embedding for Interpretable Time Series Clustering
本文提出无监督图嵌入方法 $k$-Graph,通过多长度子序列图表示支持变长时间序列聚类,在准确率上超过现有先进算法并增强结果可解释性。
2025-02-18 cs.LG
Multi-Facet Clustering Variational Autoencoders
University of Oxford(牛津大学);University of Cambridge(剑桥大学);University College London(伦敦大学学院);Health Data Research UK(英国健康数据研究中心);The Alan Turing Institute(艾伦·图灵研究所);University of Manchester(曼彻斯特大学)
深度集群的工作重点是找到数据的单个分区。然而,高维数据(如图像)通常具有多个可以聚类的有趣特征。例如,在背景上的物体图像可以在物体的形状上聚类,并根据背景的颜色单独聚类。在本文中,我们介绍了多方面聚类变分自编码器(MFCVAE),这是一类新型的变分自编码器,具有一系列潜在变量,每个变量都具有混合高斯先验,可以同时学习多个聚类,并且完全无监督和端到端训练。MFCVAE使用渐进式训练的梯形架构,导致高度稳定的性能。我们提供了新的理论结果优化ELBO分析方面的分类变分后验分布,纠正早期有影响力的理论工作。在图像基准测试中,我们证明了我们的方法可以以一种解脱的方式分离和聚类数据的不同方面。我们还展示了我们的模型的其他优点:其潜在空间的组合性,它提供了控制生成的样本。
2021-10-29 cs.CV cs.LG stat.ME
CLUES-WEASEL: No additional clues required to choose your time series clustering algorithm
Univ Rennes(雷恩大学);Ensai(国立统计与信息分析学校);CNRS(法国国家科学研究中心);CREST(CREST研究院)
提出CLUES-WEASEL时间序列聚类算法,结合无监督特征提取、主成分分析和k-means,在性能和速度上均优于现有方法。
2026-09-09 cs.LG
Harnessing Feature Clustering For Enhanced Anomaly Detection With Variational Autoencoder And Dynamic Threshold
University of Maryland Baltimore County(马里兰大学巴尔的摩分校);Geophysical Fluid Dynamics Laboratory(地球流体动力学实验室)
本研究针对北极融雪等极端气候事件的多变量时序异常检测需求,提出融合特征聚类、变分自编码器与动态阈值的检测框架,提升了检测性能与可解释性。
2024-07-14 cs.IR cs.LG
Clustering Time Series Data with Gaussian Mixture Embeddings in a Graph Autoencoder Framework
针对传统时间序列聚类难以捕捉复杂时间依赖的问题,提出变分混合图自编码器(VMGAE),利用图结构优势捕捉数据关系并生成高斯混合嵌入,实验表明其显著优于现有技术,在金融数据上的应用可为市场分析提供深度见解。
2024-11-25 cs.AI cs.LG eess.SP
Variational Auto Encoder Gradient Clustering
KTH Royal Institute of Technology(瑞典皇家理工学院)
近年来,使用深度神经网络模型的聚类得到了广泛的研究。其中最流行的框架是VAE和GAN框架,它们通过编码器/解码器神经网络结构来学习数据的潜在特征表示。这是聚类任务的合适基础,因为潜在空间通常似乎可以有效地捕捉数据的内在本质,简化其流形并减少噪音。在这篇文章中,VAE框架被用来研究如何使用数据点上的概率函数梯度上升来处理数据,以实现更好的聚类。与未处理的数据相比,观察到分类的改进,尽管没有获得最先进的结果。然而,用梯度下降处理数据会导致更明显的聚类分离,从而更容易研究合适的超参数设置,例如聚类数量。我们提出了一种简单而有效的方法,基于DBSCAN聚类算法来研究数据的合适集群数量,并证明梯度处理有助于集群数量的确定。作为一个额外的好奇心,我们发现我们用于比较的基线模型;在训练期间(自动编码器)重建的VAE结构的t-SNE潜在空间上的GMM,在MNIST数据上产生最先进的结果,据我们所知,没有被任何其他现有模型击败。
2021-05-11 cs.LG
Deep Variational Clustering Framework for Self-labeling of Large-scale Medical Images
Technical University of Munich(慕尼黑工业大学);Massachusetts Eye and Ear Hospital(马萨诸塞眼耳医院);Harvard Medical School(哈佛医学院);LMU Munich(慕尼黑大学)
我们提出了一个深度变分聚类(DVC)框架,用于无监督的表示学习和大规模医学图像的聚类。DVC通过概率卷积编码器同时学习多变量高斯后验,通过概率卷积解码器同时学习似然分布,并优化聚类标签分配。在这里,学习的多元高斯后验捕获了大量未标记图像的潜在分布。然后,我们使用聚类损失在变分潜在空间上进行无监督聚类。在这种方法中,概率解码器有助于防止潜在空间中的数据点的失真,并保持数据生成分布的局部结构。训练过程可以被认为是一个自我训练过程,以改进潜在空间,同时迭代地优化聚类分配。我们在三个代表不同医学成像模式的公共数据集上评估了我们提出的框架。我们的实验结果表明,我们提出的框架在不同的数据集上具有更好的泛化能力。它在几个医学成像基准上取得了令人信服的结果。因此,我们的方法在现实世界的应用中比传统的深度无监督学习具有潜在的优势。该方法和所有实验的源代码可在以下网址公开获得:https://github.com/csfarzin/DVC
2021-09-22 cs.CV cs.LG eess.IV
Streaming Adaptive Nonparametric Variational Autoencoder
Northeastern University(东北大学)
我们开发了一种数据驱动的方法来同时对流数据进行聚类和端到端特征学习,该方法可以自适应地检测新兴数据中的新簇。我们的方法,自适应非参数变分自动编码器(AdapVAE),通过贝叶斯非参数(BNP)建模框架与深度神经网络(DNN)进行特征学习来学习聚类成员。我们开发了一个联合在线变分推断算法,通过迭代优化证据下限(ELBO),同时学习特征表示和聚类分配。我们解决了灾难性的遗忘\citep{kirkpatrick2017overcoming}的挑战与流数据采用生成样本从训练的AdapVAE使用以前的数据,这避免了存储和重用过去的数据的需要。我们展示了我们的模型的优点,包括自适应新的聚类检测,而不丢弃从过去的数据,高质量的样本生成和可比的聚类性能的图像和文本语料库基准数据集上的端到端的批处理模式聚类方法学习的有用信息。
2019-10-11 cs.LG stat.ML
Interpretable Time Series Clustering Using Local Explanations
Toronto Metropolitan University(多伦多都会大学)
本研究的重点是探索使用局部解释性方法来解释时间序列聚类模型。许多最先进的聚类模型无法直接解释。为了解释这些聚类算法,我们训练分类模型来估计聚类标签。然后,我们使用可解释性方法来解释分类模型的决策。这些解释用于深入了解聚类模型。我们进行了详细的数值研究,以测试所提出的方法在多个数据集,聚类模型和分类模型。结果的分析表明,所提出的方法可以用来解释时间序列聚类模型,特别是当底层分类模型是准确的。最后,我们对结果进行了详细的分析,讨论了我们的方法如何在现实生活中使用。
2022-08-01 cs.LG
Fuzzy Cluster-Aware Contrastive Clustering for Time Series
Jiangsu Normal University(江苏师范大学)
针对未标记时间序列聚类,提出模糊簇感知对比聚类框架FCACC,联合优化表示学习与聚类,在三视图增强和簇感知硬负样本机制下,在40个数据集上优于八种基线方法。
2025-03-28 cs.LG
Time Series Clustering With Random Convolutional Kernels
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);UC3M-Santander Big Data Institute(马德里卡洛斯三世大学-桑坦德大数据研究所)
本文提出 R-Clustering 方法,利用随机参数卷积架构进行时间序列聚类,在 UCR 数据集上验证其在聚类精度、计算效率和可扩展性方面优于现有方法。
2023-07-06 cs.LG
Clustering of non-Gaussian data by variational Bayes for normal inverse Gaussian mixture models
Kogakuin University of Technology and Engineering(工学院大学)
有限混合模型,通常是高斯混合,是众所周知的,并广泛用作基于模型的聚类。在实际情况中,有许多非高斯数据是重尾和/或不对称的。正态逆高斯分布是正态方差均值,其混合密度是逆高斯分布,可以用于半尾和非对称性。对于NIG混合模型,期望最大化方法和变分贝叶斯(VB)算法已经被提出。然而,现有的VB算法对NIG混合物的混合密度的形状是有限的缺点。在本文中,我们提出了另一种VB算法的NIG混合,改进的缺点。我们还提出了一个扩展的Dirichlet过程混合模型,以克服在有限混合模型中确定集群的数量的困难。我们用人工数据评估了性能,发现它优于高斯混合和现有的NIG混合实现,特别是对于高度非规范的数据。
2020-09-13 cs.LG stat.ML
Variational Inference: Posterior Threshold Improves Network Clustering Accuracy in Sparse Regimes
University of California, Davis(加利福尼亚大学戴维斯分校)
针对现有变分推断社区检测方法仅适用于稠密网络、稀疏网络下因鞍点影响性能的问题,提出迭代后对社区分配后验做硬阈值的改进方法,理论证明其在平均节点度有界时可准确恢复社区标签,数值实验验证其优于经典方法与现有SOTA算法。
2024-05-21 cs.LG stat.ML
Recurrent Deep Divergence-based Clustering for simultaneous feature learning and clustering of variable length time series
UiT The Arctic University of Norway(挪威北极大学)
聚类未标记的时间序列和序列的任务需要一组特定的挑战,即充分建模时间关系和可变序列长度。如果这些挑战没有得到适当的处理,那么生成的集群可能质量不佳。作为一个关键的解决方案,我们提出了一个基于深度学习的时间序列联合聚类和特征学习框架。对于给定的一组时间序列,我们训练一个递归网络来表示或嵌入向量空间中的每个时间序列,使得基于发散的聚类损失函数可以以端到端的方式发现底层聚类结构。与以前的方法不同,我们的模型固有地处理可变长度的多变量时间序列,并且不需要在输入空间中指定距离度量。在一组不同的基准数据集上,我们说明了我们提出的基于递归深度分歧的聚类方法优于以前的方法,或者与以前的方法相当。
2019-02-16 cs.LG stat.ML
Clustering by Contour coreset and variational quantum eigensolver
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院);School of Physics, The University of Melbourne(墨尔本大学物理学院);Data61, CSIRO(澳大利亚联邦科学与工业研究组织 Data61)
针对现有量子k-means聚类方法准确率与一致性不足、缺乏量子定制核心集技术的问题,提出结合VQE与专为量子算法设计的Contour coreset的聚类方法,实验证明其性能优于现有QAOA加通用核心集的方案。
2023-12-06 cs.LG quant-ph
On Clustering Time Series Using Euclidean Distance and Pearson Correlation
University of Konstanz(康斯坦茨大学);Univ. of Applied Sciences Wolfsburg(沃尔夫斯堡应用科学大学)
对于时间序列比较,经常观察到z分数归一化的欧几里得距离远远优于未归一化的变量。在本文中,我们证明了z分数归一化的平方欧几里德距离实际上等于基于皮尔逊相关的距离。这对许多基于距离的分类或聚类方法产生了深远的影响。除了这个理论上合理的结果,我们还表明,经常使用的k-Means算法形式上需要修改,以保持解释为皮尔逊相关严格有效。实验结果表明,在许多情况下,标准的k-Means算法通常会产生相同的结果。
2016-01-10 cs.AI cs.LG stat.ML
Note on Equivalence Between Recurrent Neural Network Time Series Models and Variational Bayesian Models
我们观察到,标准的对数似然训练目标的循环神经网络(RNN)模型的时间序列数据是等价的变分贝叶斯训练目标,给出了适当的选择生成和推理模型。这种观点可能会激发对RNN和变分贝叶斯模型的扩展。我们提出了一个这样的扩展,其中多个粒子用于RNN的隐藏状态,允许不确定性或多模态的自然表示。
2016-06-18 cs.LG
Anomaly Detection in Time Series of EDFA Pump Currents to Monitor Degeneration Processes using Fuzzy Clustering
Advanced Technology Adtran(阿德特兰高级技术部门);Faculty of Applied Computer Science University of Augsburg(应用计算机科学学院乌尔姆大学);University of Augsburg(乌尔姆大学)
本文提出一种结合熵分析、PCA与模糊聚类的变更检测框架(CDF),用于早期检测EDFA泵浦电流时间序列异常,支持光纤网络分散式预测性维护。
2025-04-29 cs.AI cs.LG eess.SP
Dual reparametrized Variational Generative Model for Time-Series Forecasting
King’s College London(伦敦国王学院)
本文提出了一种用于时间序列预测的生成式模型DualVDT。在变分自编码器(VAE)模型中引入双重重参数化变分机制,收紧了模型的证据下限(ELBO),并从理论上证明了其性能的提高。该机制利用基于潜在基于得分的生成模型(SGM),通过逆时随机微分方程和变分祖先采样显式地去除潜在向量上累积的扰动。融合对偶重参数变分密度的隐分布去噪后验。ELBO中的KL发散将减小,以达到更好的模型结果。本文还提出了一种潜在的注意力机制来显式提取多元依赖关系。通过构造局部拓扑和时态关联,在因子关联中同时建立局部时态关联。在多个数据集上的验证和实验表明,DualVDT具有一种新的双重重新参数化结构,通过逆动力学结合局部时间推理来消除潜在扰动,在分析和实验上都具有先进的性能。
2022-03-11 cs.AI cs.LG stat.ML
A clustering approach to time series forecasting using neural networks: A comparative study on distance-based vs. feature-based clustering methods
Jet Propulsion Laboratory(喷气推进实验室)
时间序列预测最近得到了很多关注,这是因为许多现实世界的现象可以建模为时间序列。大量的数据和计算机处理能力的最新进展使研究人员能够开发更复杂的机器学习算法,如神经网络来预测时间序列数据。在本文中,我们提出了各种神经网络架构来预测的时间序列数据使用的动态测量,此外,我们介绍了各种架构如何结合静态和动态测量预测。我们还调查了执行技术,如异常检测和聚类预测精度的重要性。我们的研究结果表明,聚类可以提高整体的预测时间,以及提高神经网络的预测性能。此外,我们表明,基于特征的聚类可以优于基于距离的聚类的速度和效率。最后,我们的研究结果表明,增加更多的预测因子来预测目标变量并不一定会提高预测精度。
2021-03-31 cs.LG stat.ML
Clustering hidden Markov models with variational HEM
University of California, San Diego(加利福尼亚大学圣迭戈分校);City University of Hong Kong(香港城市大学)
隐马尔可夫模型(HMM)是一种广泛使用的生成模型,它处理序列数据,假设每个观察都以隐马尔可夫链的状态为条件。在本文中,我们推导出一种新的算法聚类的层次EM(HEM)算法的基础上的障碍。所提出的算法i)根据它们表示的分布,将给定的障碍物集合聚类成相似的障碍物组,以及ii)通过“聚类中心”来表征每个组,即,一种新的HMM,它代表了该组,其方式与HMM的底层生成模型一致。为了处理E步中的难以处理的推理,HEM算法被配制为变分优化问题,并且通过利用适当的变分近似来有效地解决HMM的情况。我们将所提出的算法称为变分HEM(VHEM),其优点在涉及时间序列数据的多个任务中得到了证明,例如运动捕捉序列的分层聚类,以及音乐和在线手写数据的自动注释和检索,显示了对当前方法的改进。特别是,我们的变分HEM算法通过使用高效的分层估计过程来学习注释模型时,有效地利用了大量数据,这减少了学习时间和内存需求,同时通过更好的正则化提高了模型的鲁棒性。
2012-10-24 cs.CV cs.LG stat.ML
A self-organising eigenspace map for time series clustering
University of Southampton(南安普顿大学);Logicblox/Infor
本文提出了一种新的时间序列聚类方法,自组织特征空间映射(SOEM),基于著名的自组织特征映射(SOFM)的推广。SOEM对时间序列的嵌入协方差结构的本征空间进行操作,所述本征空间与那些时间序列中的模式直接相关。近似联合对角化作为一个伪度量在这些空间中,使我们能够概括的SOFM矩阵输入的神经网络。该技术的经验验证对三组实验,单变量和多变量时间序列聚类,并应用(聚类)多变量时间序列预测。结果表明,该技术进行了有效的拓扑有序聚类的时间序列。当数据不对齐时,聚类优于标准基准,当用于预测时给出最佳聚类阶段,并且可以与部分/非重叠时间序列、多变量聚类一起使用,并产生时间序列对象的拓扑表示。
2019-05-14 cs.LG stat.AP stat.ML
VICatMix: variational Bayesian clustering and variable selection for discrete biomedical data
MRC Biostatistics Unit University of Cambridge East Forvie Building(医学研究理事会生物统计学单位剑桥大学东部大楼);MRC Biostatistics Unit and CRUK Cambridge Centre Ovarian Programme and Cambridge Institute of Therapeutic Immunology and Infectious Disease (CITIID) University of Cambridge(医学研究理事会生物统计学单位和癌症研究英国委员会剑桥中心卵巢计划及剑桥治疗免疫学和传染病研究所(CITIID)剑桥大学)
VICatMix通过变分贝叶斯方法实现高效聚类和变量选择,适用于高维生物医学数据,提升癌症亚型分组和驱动基因发现的准确性。
2026-03-01 cs.LG stat.ME stat.ML