CoxNTF: A New Approach for Joint Clustering and Prediction in Survival Analysis
针对现有方法未整合生存信息的问题,提出CoxNTF方法,通过非负张量分解结合Coxnet生存概率构建加权协变量张量,在保持与Coxnet相当预测性能的同时提供结构化聚类框架并处理特征冗余。
2025-08-24 cs.LG
Evidence Transfer for Improving Clustering Tasks Using External Categorical Evidence
Institute of Informatics and Telecommunications(信息学与电信研究所)
在本文中,我们介绍了聚类的证据转移,这是一种深度学习方法,可以根据外部分类证据递增地操纵自动编码器的潜在表示,以改善聚类结果。通过证据转移,我们定义了利用外部辅助任务的分类结果来改进主要任务的过程,在这种情况下,用于聚类的表示学习。我们提出的方法不对所提供的分类证据进行假设,也不对潜在空间的结构进行假设。我们通过在部署之前和之后执行k均值聚类来比较我们的方法与基线解决方案。三种不同类型的证据的实验表明,我们的方法有效地操纵潜在的表示时,介绍了真正的相应证据,同时保持鲁棒性时,提出了低质量的证据。
2018-12-15 cs.AI cs.LG stat.ML
Latent Random Steps as Relaxations of Max-Cut, Min-Cut, and More
University of YYY(YYY大学);Institute of WWW(WWW研究所)
本文提出基于非负矩阵分解的概率模型,将随机游走过程分解以统一图聚类与简化,并通过软聚类松弛使硬聚类问题可用梯度下降求解,在合成图及二分、三分聚类任务中验证了有效性。
2023-08-12 cs.LG cs.SI
Clustering-Oriented Representation Learning with Attractive-Repulsive Loss
McGill University(麦吉尔大学)
用于训练神经网络分类器的标准损失函数,分类交叉熵(CCE),试图最大限度地提高训练数据的准确性;构建有用的表示不是这个目标的必要副产品。在这项工作中,我们提出了面向聚类的表示学习(COREL)作为一种替代CCE在一个广义的吸引-排斥损失框架的背景下。COREL的后果是根据预定义的相似性函数,构建潜在表示,这些潜在表示在最终隐藏层的潜在空间内共同表现出自然聚类的质量。尽管易于实现,但COREL变体在各种场景中的性能优于或等同于CCE,包括使用前馈和卷积神经网络的图像和新闻文章分类。对使用不同相似性函数创建的潜在空间的分析有助于了解COREL变体可以满足的不同用例,其中Cosine-COREL变体形成一致的可聚类潜在空间,而Gaussian-COREL始终获得比CCE更好的分类精度。
2018-12-18 cs.AI cs.LG stat.ML
Deep Variational Clustering Framework for Self-labeling of Large-scale Medical Images
Technical University of Munich(慕尼黑工业大学);Massachusetts Eye and Ear Hospital(马萨诸塞眼耳医院);Harvard Medical School(哈佛医学院);LMU Munich(慕尼黑大学)
我们提出了一个深度变分聚类(DVC)框架,用于无监督的表示学习和大规模医学图像的聚类。DVC通过概率卷积编码器同时学习多变量高斯后验,通过概率卷积解码器同时学习似然分布,并优化聚类标签分配。在这里,学习的多元高斯后验捕获了大量未标记图像的潜在分布。然后,我们使用聚类损失在变分潜在空间上进行无监督聚类。在这种方法中,概率解码器有助于防止潜在空间中的数据点的失真,并保持数据生成分布的局部结构。训练过程可以被认为是一个自我训练过程,以改进潜在空间,同时迭代地优化聚类分配。我们在三个代表不同医学成像模式的公共数据集上评估了我们提出的框架。我们的实验结果表明,我们提出的框架在不同的数据集上具有更好的泛化能力。它在几个医学成像基准上取得了令人信服的结果。因此,我们的方法在现实世界的应用中比传统的深度无监督学习具有潜在的优势。该方法和所有实验的源代码可在以下网址公开获得:https://github.com/csfarzin/DVC
2021-09-22 cs.CV cs.LG eess.IV
Mixing Consistent Deep Clustering
VU University Amsterdam(阿姆斯特丹自由大学);BrainCreators B.V.(BrainCreators公司)
在数据中找到定义良好的集群对于许多数据驱动的应用程序来说是一个基本的挑战,并且在很大程度上取决于良好的数据表示。借鉴有关表示学习的文献,研究表明,良好的潜在表示的一个关键特征是在解码两个潜在表示的线性插值时产生语义混合输出的能力。我们提出了混合一致性深度聚类方法,该方法鼓励插值显得逼真,同时添加了两个数据点的插值必须看起来像两个输入之一的约束。通过将这种训练方法应用于各种聚类(非)特定的自动编码器模型,我们发现使用所提出的训练方法系统地改变了模型的学习表示的结构,并提高了MNIST,SVHN和CIFAR-10数据集上测试的ACAI,IDEC和VAE模型的聚类性能。这些结果对许多现实世界的聚类任务具有实际意义,因为它表明所提出的方法可以添加到现有的自动编码器中,以进一步提高聚类性能。
2020-11-03 cs.LG stat.ML
Station-to-User Transfer Learning: Towards Explainable User Clustering Through Latent Trip Signatures Using Tidal-Regularized Non-Negative Matrix Factorization
George Mason University(乔治梅森大学)
城市地区为我们提供了一个可用数据的宝库,几乎涵盖了人口生活的各个方面。这项工作的重点是流动性数据,以及它将如何帮助我们提高对城市流动模式的理解。现成的、规模可观的票价卡数据可以捕捉公共交通网络中的行程。然而,这样的数据通常缺乏时间模态,因此推断行程语义、车站功能和用户简档的任务是相当具有挑战性的。由于现有的方法要么集中在车站级或用户级的信号,他们很容易过拟合,并产生不太可信和有见地的结果。为了正确地从行程数据中学习这些特征,我们提出了一个通过潜在表示的集体学习框架,该框架通过从站级信号中学习到的集体模式来增强用户级学习。该框架使用了一种新的,所谓的潮汐正则化非负矩阵分解方法,它采用了领域知识的形式,在通用的非负矩阵分解的时间客流模式。为了评估我们的模型的性能,用户稳定性测试的基础上,经典的兰德指数引入作为基准不同的无监督学习模型的度量。我们提供了一个定性分析的车站功能和用户简档的华盛顿特区地铁,并显示我们的方法如何支持时空城市内的流动性探索。
2020-04-27 cs.LG cs.SI
Deep Representation Learning and Clustering of Traffic Scenarios
BMW Group(宝马集团);Technical University of Munich(慕尼黑工业大学)
确定交通场景空间是自动驾驶功能认证和覆盖评估的主要挑战。在目前的方法,主要是基于网络和依赖于专家知识,我们介绍了两个数据驱动的自动编码模型,学习交通场景的潜在表示。首先是基于CNN的时空模型,其自动编码交通参与者的位置的网格。其次,我们开发了一个基于纯时间RNN的模型,它可以自动编码一系列集合。为了处理无序集合数据,我们必须结合置换不变性。最后,我们展示了如何潜在的场景嵌入可用于聚类交通场景和相似性检索。
2020-07-15 cs.LG stat.ML
Text Mining using Nonnegative Matrix Factorization and Latent Semantic Analysis
Shahid Bahonar University of Kerman(沙希德巴霍纳尔克尔曼大学)
文本聚类可以说是现代数据采掘中最重要的课题之一。然而,文本数据需要标记化,这通常会产生非常大且高度稀疏的术语-文档矩阵,这通常难以使用传统的机器学习算法进行处理。潜在语义分析等方法有助于缓解这个问题,但在实践中并不完全稳定。因此,我们提出了一种新的基于非负矩阵分解的特征聚集方法,该方法将术语分组,然后将每组的术语向量聚集成一个新的特征向量。这些特征向量一起创建了一个更适合聚类的新特征空间。此外,我们提出了一个新的确定性初始化球形K均值,这证明是非常有用的这种特定类型的数据。为了评估所提出的方法,我们将其与该领域的一些最新研究以及一些最实用的方法进行比较。在我们的实验中,我们得出结论,该方法要么显着提高聚类性能,或保持其他方法的性能,同时提高结果的稳定性。
2020-02-24 cs.LG stat.ML
Adaptively-weighted Integral Space for Fast Multiview Clustering
多视图聚类是利用多源信息来提高聚类性能的一种方法。一般来说,大多数现有的作品通常通过一些相似性/距离度量(例如,欧几里得距离)或学习表示来计算n * n亲和图,并探索视图之间的成对相关性。但不幸的是,通常需要二次甚至三次的复杂度,这给大规模数据集的聚类带来了困难。最近已经做出了一些努力来捕获数据分布在多个视图中,通过选择视图方式的锚表示与k均值,或通过直接矩阵分解的原始观察。尽管取得了显著的成功,但很少有人考虑到视图不足的问题,隐含地假设每个单独的视图足以恢复集群结构。此外,潜在的积分空间以及共享集群结构从多个不充分的意见是不能同时发现。鉴于此,我们提出了一个自适应加权积分空间的快速多视图聚类(AIMC)与近线性复杂度。具体地说,视图生成模型的目的是从潜在的积分空间与不同的自适应贡献重建的意见。同时,无缝地构造了具有正交性约束和聚类划分的质心表示来逼近潜积分空间。提出了一种求解该优化问题的交替极小化算法,并证明了该算法具有线性时间复杂度。样本量。在几个真实数据集上进行的大量实验证实了所提出的AIMC方法与现有方法相比的优越性。
2022-08-25 cs.AI cs.LG
Operational Latent Spaces
Belmont University(贝尔蒙特大学);Hyperstate AI(海珀州人工智能公司)
本文提出可运算潜在空间(OpLaS)概念,通过自监督学习构建不仅具有语义聚类、还能支持有意义变换的潜在空间,并引入FiLMR层实现旋转算子以支持音乐中的环状对称结构。
2024-06-04 cs.LG cs.SD eess.AS
Learning Latent Superstructures in Variational Autoencoders for Deep Multidimensional Clustering
The Hong Kong University of Science and Technology(香港科技大学);The Education University of Hong Kong(香港教育大学)
我们研究了变分自编码器的一个变体,其中在潜在特征之上存在离散潜在变量的上层结构。一般来说,我们的超结构是一个树结构的多个超级潜在的变量,它是自动学习的数据。当上层结构中只有一个潜在变量时,我们的模型简化为假设潜在特征从高斯混合模型生成的模型。我们称我们的模型为潜在树变分自编码器(LTVAE)。以前的深度学习聚类方法只产生一个数据分区,而LTVAE产生多个数据分区,每个分区由一个超级潜在变量给出。这是可取的,因为高维数据通常具有许多不同的自然方面,并且可以以多种方式进行有意义的分区。
2019-02-22 cs.LG
Enhanced Latent Multi-view Subspace Clustering
Southwestern University of Finance and Economics(西南财经大学)
针对原始潜在多视图子空间聚类信息恢复不完整的问题,提出ELMSC方法,通过构建块对角增强数据矩阵并施加稀疏正则化,结合ADMM算法求解,有效提升了多视图聚类性能。
2024-08-27 cs.LG
Auto-clustering Output Layer: Automatic Learning of Latent Annotations in Neural Networks
在本文中,我们讨论了一种不同类型的半监督设置:对所有观测值都可以使用粗略的标记,但模型必须为每个观测值学习精细的潜在注释。在文本分类、蛋白质功能预测、图像分类以及医学和基因组学研究等探索性科学研究中,可能会遇到这种情况下的问题。我们认为这种设置是同时执行监督分类(根据可用的粗标签)和无监督聚类(在每个粗标签内),并提出了一种新的输出层修改称为自动聚类输出层(ACOL),允许并发分类和聚类基于图的活动正则化(GAR)技术。由于所提出的输出层修改在输出层为每个类复制softmax节点,因此GAR允许在传统纠错学习框架上的这些副本之间进行竞争学习,以最终使神经网络能够在这种部分监督设置中学习潜在注释。我们演示了粗糙标签监督如何影响性能,并有助于传播子类之间的有用聚类信息。三个最流行的图像数据集MNIST,SVHN和CIFAR-100的比较测试严格证明了所提出的方法的有效性和竞争力。
2017-08-09 cs.LG
ClusterGAN : Latent Space Clustering in Generative Adversarial Networks
University of Washington(华盛顿大学)
生成对抗网络(GANs)在许多无监督学习任务中取得了显著的成功,聚类无疑是一个重要的无监督学习问题。虽然人们可以潜在地利用GANs中的潜在空间反向投影来聚类,但我们证明了聚类结构不会保留在GAN潜在空间中。在本文中,我们提出了一种新的机制,使用GANs聚类的ChipterGAN。通过从独热编码变量和连续潜变量的混合物中采样潜变量,再加上一个逆网络(将数据投影到潜空间),并使用聚类特定损失进行联合训练,我们能够在潜空间中实现聚类。我们的研究结果显示了一个显着的现象,即GANs可以保持跨类别的潜在空间插值,即使神经网络从未暴露于此类向量。我们将我们的结果与各种聚类基线进行比较,并在合成和真实数据集上表现出卓越的性能。
2019-01-26 cs.LG stat.ML
CASL-VAE: Learning Structured Latent Variables from Unpaired Data for Semi-supervised Clustering and Paired Sample Generation
针对缺乏配对数据及目标变异异质时现有方法的不足,提出CASL-VAE模型,它能从不配对数据学习结构化潜在因子,经变分推理实现相关优化,在半合成神经影像数据验证中表现良好,可用于半监督聚类、配对样本生成及揭示疾病异质性。
2026-07-10 cs.LG
Image Clustering Algorithm Based on Self-Supervised Pretrained Models and Latent Feature Distribution Optimization
School of Communication and Information Engineering, Shanghai University(上海大学通信与信息工程学院)
针对现有深度聚类算法精度偏低的问题,提出结合自监督预训练模型微调、k近邻距离压缩与聚类质心距离优化的图像聚类算法,在多数据集上取得SOTA结果,小类别数据集上精度接近监督方法。
2024-08-10 cs.CV cs.LG
Double Graphs Regularized Multi-view Subspace Clustering
College of Informatics, Huazhong Agricultural University(华中农业大学信息学院)
近年来,多视点子空间聚类技术引起了学术界的广泛关注。在本文中,我们提出了一种新的双图正则化多视图子空间聚类(DGRMSC)方法,其目的是利用全局和局部结构信息的多视图数据在一个统一的框架。具体来说,DGRMSC首先学习一个潜在的表示,以利用全局互补信息的多个视图。基于学习到的潜在表征,我们学习一个自我表征来探索它的全局聚类结构。此外,双重图正则化(DGR)执行的潜在表示和自我表示,同时利用他们的局部流形结构。然后,我们设计了一个迭代算法来有效地解决优化问题。在真实数据集上的实验结果表明了该方法的有效性。
2022-09-30 cs.LG
Clustering by latent dimensions
School of Knowledge Science(知识科学学院);Japan Advanced Institute of Science and Technology(日本高等科学技术研究院)
本文介绍了一种新的聚类技术,称为{ \em dimensional clustering},它聚类每个数据点的潜在{ \em pointwise dimension},这是一个衡量的数据集的维数本地的点。点态维数在广泛的变换下是不变的。因此,维度聚类可以有效地应用于广泛的数据集。具体地说,我们提出了一个统计模型,它估计数据集的点周围的点,在该数据集中使用每个点的距离,从它的$n^{\text{th}}$最近的邻居的逐点维数。我们证明了我们的技术的适用性,动力系统,图像和复杂的人体运动的分析。
2018-05-28 cs.LG stat.ML
Effect of The Latent Structure on Clustering with GANs
IIT Jodhpur(印度理工学院焦特布尔分校);Flipkart Internet Pvt Ltd(Flipkart互联网私人有限公司);IIT Delhi(印度理工学院德里分校)
生成对抗网络(GANs)在从自然数据流形(如图像)生成数据方面取得了显着的成功。在一些场景中,生成的数据最好是很好的聚类,特别是当存在严重的类不平衡时。本文重点研究了GANs生成空间中的聚类问题,并揭示了其与潜在空间特征的关系。我们从第一原理,必要和充分条件需要实现忠实的聚类在GAN框架:(i)存在一个多模态的潜在空间与可调先验,(ii)存在一个潜在的空间反转机制和(iii)强加所需的集群先验的潜在空间。我们还确定了部分满足这些条件的文献中的GAN模型,并通过对多个真实世界图像数据集的烧蚀研究证明了所需所有组件的重要性。此外,我们描述了一个程序来构建一个多模态的潜在空间,便于学习集群先验稀疏监督。
2020-05-05 cs.LG stat.ML
Clustering Human Mobility with Multiple Spaces
University of Minnesota, Twin Cities(明尼苏达大学双城分校);University of Southern California(南加州大学)
人类移动聚类是理解人类移动行为的重要问题(例如,工作和学校通勤)。现有的方法通常包含两个步骤:选择或学习移动性表示和应用聚类算法的表示。然而,这些方法依赖于严格的访问顺序的轨迹,不能利用多种类型的移动表示。提出了一种新的用于移动行为检测的移动聚类方法。首先,所提出的方法包含一个置换等效操作来处理可能具有不同访问顺序但对移动行为有相似影响的子轨迹。其次,该方法利用一个变分自编码器架构,同时执行聚类在潜在和原始空间。此外,为了处理单个潜在空间的偏差,我们的聚类分配预测考虑了不同时期的多个学习潜在空间。这样,所提出的方法产生准确的结果,并可以提供每个轨迹的集群分配的可靠性估计。实验表明,该方法优于国家的最先进的方法在移动行为检测轨迹具有更好的准确性和更多的可解释性。
2023-01-20 cs.LG
Deep Unsupervised Clustering with Clustered Generator Model
Shanghai Jiao Tong University(上海交通大学);Stevens Institute of Technology(史蒂文斯理工学院);University of California, Los Angeles(加州大学洛杉矶分校)
无监督聚类是机器学习和人工智能领域最基本的问题之一。我们提出了聚类生成器模型的聚类,其中包含连续和离散的潜变量。离散潜变量对聚类标签进行建模,而连续潜变量对每个聚类内的变化进行建模。模型的学习在统一的概率框架中进行,并将无监督聚类作为内部步骤,而不需要像现有的基于变分的模型那样需要额外的推理模型。学习的潜变量既可以作为观察到的数据嵌入,也可以作为数据分布的潜在表示。实验结果表明,该模型可以达到有竞争力的无监督聚类精度,并可以学习解开潜在的表示,以产生现实的样本。此外,该模型可以自然地扩展到每像素无监督聚类,这在很大程度上尚未探索。
2019-11-19 cs.LG stat.ML
ScRAE: Deterministic Regularized Autoencoders with Flexible Priors for Clustering Single-cell Gene Expression Data
IIT Delhi(德里印度理工学院);TIFR(塔塔基础研究所)
聚类单细胞RNA序列(scRNA-seq)数据由于其高维性和数据稀疏性(也称为“脱落”事件)而带来统计和计算挑战。最近,基于正则化自动编码器(Regularized Auto-Encoder,RAE)的深度神经网络模型在学习鲁棒的低维表示方面取得了显著的成功。RAES的基本思想是学习从高维数据空间到低维潜在空间的非线性映射,反之亦然,同时在潜在空间上施加分布先验,这带来了正则化效果。本文认为,RAES遭受臭名昭著的问题,偏差方差权衡在他们的天真制定。虽然没有潜在正则化的简单AE会导致数据过度拟合,但非常强的先验会导致代表性不足,从而导致聚类不佳。为了解决上述问题,我们提出了一个修改的RAE框架(称为scRAE)的单细胞RNA测序数据的有效聚类。scRAE由确定性AE和可灵活学习的先验生成器网络组成,该网络与AE联合训练。这有助于scRAE在潜在空间中的偏差和方差之间更好地权衡。我们通过对几个真实世界的单细胞基因表达数据集进行广泛的实验来证明所提出的方法的有效性。
2021-07-16 cs.LG
Selective Inference for Deep Clustering in Latent Spaces
Nagoya University(名古屋大学);RIKEN(理化学研究所)
针对深度聚类中潜在空间聚类结果的统计检验问题,提出基于固定预训练编码器的选择性推断框架,控制选择偏差并实现有效检验,合成与基因组实验验证了其功效与可靠性。
2026-09-25 cs.LG stat.ML
Vector Quantized Latent Concepts: A Scalable Alternative to Clustering-Based Concept Discovery
Dalhousie University, Canada(加拿大达尔豪斯大学);University of Calgary, Canada(加拿大卡尔加里大学)
提出VQLC框架,通过向量量化学习离散潜在概念,在保持可解释性的同时,实现与K-Means相当的计算效率,并优于层次聚类在大规模数据上的扩展性。
2026-06-11 cs.CL cs.LG
Latent structure blockmodels for Bayesian spectral graph clustering
Imperial College London(帝国理工学院)
网络邻接矩阵的谱嵌入通常产生近似于低维子流形结构的节点表示。特别是,隐藏的子结构预计会出现时,从一个潜在的位置模型生成的图形。此外,网络中社区的存在可能会在嵌入中产生社区特定的子流形结构,但这在大多数网络的统计模型中并没有明确说明。在这篇文章中,提出了一类称为潜在结构块模型(LSBM)的模型来解决这种情况下,允许图聚类时,社区特定的一维流形结构。LSBMs集中在一类特定的潜在空间模型,随机点积图(RDPG),并分配一个潜在的子流形的潜在位置的每个社区。一个贝叶斯模型的嵌入所产生的LSBMs进行了讨论,并表现出良好的性能,模拟和真实世界的网络数据。该模型能够正确地恢复生活在一维流形上的底层社区,即使底层曲线的参数形式是未知的,在各种真实数据上取得了显着的效果。
2022-01-02 cs.LG stat.ML
Learning Latent Representations in Neural Networks for Clustering through Pseudo Supervision and Graph-based Activity Regularization
University of South Florida(南佛罗里达大学)
在本文中,我们提出了一种新的无监督聚类方法,利用隐藏的信息,是间接引入通过一个伪分类目标。具体来说,我们随机地为每个观察分配一个伪父类标签,然后通过应用与所分配的标签相关联的特定于域的变换来修改该标签。生成的伪观测标记对随后用于训练具有自动聚类输出层(ACOL)的神经网络,该自动聚类输出层为每个伪父类引入多个softmax节点。由于基于基于图的活动正则化(GAR)项的无监督目标,每个父类的softmax副本都是专门的,因为通过特定于域的变换捕获的隐藏信息在训练期间传播。最终我们得到一个k-means友好的潜在表示。此外,我们还演示了所选择的转换类型如何影响性能,并有助于传播有助于揭示未知聚类的潜在信息。我们的研究结果显示了MNIST,SVHN和USPS数据集上无监督聚类任务的最新性能,具有迄今为止文献中报道的最高精度。
2018-02-08 cs.LG stat.ML
Self-Supervised Information Bottleneck for Deep Multi-View Subspace Clustering
Beijing Institute of Technology(北京理工大学)
本文从信息论的角度探讨了深度多视点子空间聚类框架问题。我们扩展了传统的信息瓶颈原理,以自监督的方式学习不同视图之间的共同信息,并相应地建立了一个新的框架称为自监督信息瓶颈的多视图子空间聚类(SIB-MSC)。继承了信息瓶颈的优点,SIB-MSC可以为每个视图学习潜在空间,通过从视图本身去除多余的信息,同时为其他视图的潜在表示保留足够的信息,来捕获不同视图的潜在表示之间的公共信息。实际上,每个视图的潜在表示为训练其他视图的潜在表示提供了一种自监督信号。此外,SIB-MSC尝试学习其他潜在空间为每个视图捕捉视图特定的信息,通过引入互信息为基础的正则化条款,以便进一步提高多视图子空间聚类的性能。据我们所知,这是第一个工作,探讨多视图子空间聚类的信息瓶颈。对真实世界多视图数据的大量实验表明,我们的方法比相关的国家的最先进的方法取得了优越的性能。
2022-04-29 cs.AI cs.LG
Latent Complete Row Space Recovery for Multi-view Subspace Clustering
National University of Defense Technology(国防科技大学);Shanxi University(山西大学)
多视点子空间聚类在图像处理、视频监控等领域得到了广泛的应用,并引起了越来越多的关注。大多数现有的方法学习特定于视图的自表示矩阵,并从多个视图中构造一个组合的亲和矩阵。亲和度构造过程耗时长,并且不能保证组合亲和度矩阵反映整个真实子空间结构。为了克服这些问题,潜在的完全行空间恢复(LCRSR)方法被提出。具体地说,LCRSR是基于这样的假设,即多视图观测是从底层的潜在表示生成的,该潜在表示进一步假设收集从多个子空间精确提取的真实样本。LCRSR能够恢复潜在表示的行空间,它不仅携带来自多个视图的完整信息,而且在一定条件下确定子空间成员。LCRSR不涉及图的构造过程,并且使用高效且收敛的算法来求解,从而更具有可扩展性以适应大规模数据集。通过对不同类型的多视点数据进行聚类,验证了LCRSR的有效性和效率,并在背景减除任务中得到了说明。
2019-12-16 cs.LG stat.ML
Invariance-based Multi-Clustering of Latent Space Embeddings for Equivariant Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
变分自编码器(VAE)已被证明在恢复用于若干计算机视觉任务的模型潜在空间方面非常有效。然而,由于多种原因,目前训练的VAE似乎在学习潜在空间中的不变和等变聚类方面存在不足。我们的工作重点是为这个问题提供解决方案,并提出了一种方法,通过实施深度,群不变学习来解开李群流形中的等方差特征映射。同时实现一种新的分离的潜在空间表示的语义和等变变量,我们制定了一个修改后的证据下界(ELBO)通过使用混合模型PDF像高斯混合不变的集群嵌入,允许优越的无监督变分聚类。我们的实验表明,与目前最好的深度学习模型相比,该模型可以有效地学习解开不变和等变表示,学习率有显著提高,图像识别和规范状态重建明显优于当前最好的深度学习模型。
2021-07-25 cs.LG stat.ML
Discovering Concept Directions from Diffusion-based Counterfactuals via Latent Clustering
German Research Center for Artificial Intelligence GmbH (DFKI)(德国人工智能研究中心)
本文提出CDLC方法,通过潜在聚类提取概念方向,减少存储需求并加速概念发现,适用于高风险领域和多样化数据模态。
2025-11-27 cs.CV cs.LG
Variational Auto Encoder Gradient Clustering
KTH Royal Institute of Technology(瑞典皇家理工学院)
近年来,使用深度神经网络模型的聚类得到了广泛的研究。其中最流行的框架是VAE和GAN框架,它们通过编码器/解码器神经网络结构来学习数据的潜在特征表示。这是聚类任务的合适基础,因为潜在空间通常似乎可以有效地捕捉数据的内在本质,简化其流形并减少噪音。在这篇文章中,VAE框架被用来研究如何使用数据点上的概率函数梯度上升来处理数据,以实现更好的聚类。与未处理的数据相比,观察到分类的改进,尽管没有获得最先进的结果。然而,用梯度下降处理数据会导致更明显的聚类分离,从而更容易研究合适的超参数设置,例如聚类数量。我们提出了一种简单而有效的方法,基于DBSCAN聚类算法来研究数据的合适集群数量,并证明梯度处理有助于集群数量的确定。作为一个额外的好奇心,我们发现我们用于比较的基线模型;在训练期间(自动编码器)重建的VAE结构的t-SNE潜在空间上的GMM,在MNIST数据上产生最先进的结果,据我们所知,没有被任何其他现有模型击败。
2021-05-11 cs.LG
Discovering Behavioral Modes in Deep Reinforcement Learning Policies Using Trajectory Clustering in Latent Space
Norwegian University of Science and Technology (NTNU)(挪威科技大学);Centre for Autonomous Marine Operations and Systems (AMOS)(自主海洋作业与系统中心)
本文提出在DRL策略的潜在空间中结合PaCMAP降维与TRACLUS轨迹聚类,以识别行为模式和次优决策,并通过领域知识针对性提升Mountain Car任务中的策略性能。
2024-02-20 cs.AI cs.LG
Sanitized Clustering against Confounding Bias
Center for Frontier AI Research, Agency for Science, Technology, and Research (A*STAR)(科技研究局前沿人工智能研究中心);Institute of High Performance Computing, Agency for Science, Technology, and Research (A*STAR)(科技研究局高性能计算研究所);Southern University of Science and Technology (SUSTech)(南方科技大学);Australian Artificial Intelligence Institute, University of Technology Sydney (UTS)(悉尼科技大学澳大利亚人工智能研究院)
针对复杂数据与混杂因素非线性相关导致传统线性去偏聚类失效的问题,提出SCAB框架,利用VAE潜在表示和互信息最小化消除混杂偏倚并聚类,实验显示性能显著提升。
2023-11-02 cs.LG
Network Clustering for Latent State and Changepoint Detection
University of Florida(佛罗里达大学);Rice University(莱斯大学);Baylor College of Medicine(贝勒医学院);Office of the Director of National Intelligence(国家情报总监办公室)
网络模型为分析各种结构化数据源提供了强大而灵活的框架。然而,在许多感兴趣的情况下,可以构建多个网络来捕获潜在现象的不同方面或捕获随时间变化的行为。在这种情况下,将相关的网络聚集在一起以试图识别共同结构的模式通常是有用的。在本文中,我们提出了一个凸的网络聚类任务的方法。我们的方法使用了凸融合惩罚,以诱导一个平滑变化的树状聚类结构,消除了需要事先选择聚类的数量。我们提供了一个有效的算法,凸网络聚类,并证明其有效性的合成的例子。
2021-11-01 cs.LG cs.SI
Spectral graph clustering with inhomogeneous latent geometry
Inria Sophia Antipolis(索菲亚·安蒂波利斯国立计算机与自动化研究所);Federal University of Rio Grande do Sul(南里奥格兰德联邦大学);University of Münster(明斯特大学)
针对混杂潜在几何下谱聚类的问题,提出DBSPEC算法,可从深层特征向量恢复社区,能处理一般潜在几何,其理论预测与真实实验结果一致。
2026-08-13 cs.LG cs.SI math.PR
LSCALE: Latent Space Clustering-Based Active Learning for Node Classification
National University of Singapore(新加坡国立大学)
图上的节点分类是许多实际领域中的一个重要课题。它通常需要标签进行培训,这在实践中可能很难或昂贵。给定标记预算,主动学习旨在通过仔细选择标记哪些节点来提高性能。以前的图主动学习方法使用标记的节点学习表示,并选择一些未标记的节点进行标记获取。然而,它们没有充分利用未标记节点中存在的表示能力。我们认为,在未标记的节点的表示能力可以是有用的主动学习和进一步提高节点分类的主动学习的性能。在本文中,我们提出了一个潜在的空间聚类为基础的主动学习框架节点分类(LSCALE),我们充分利用标记和未标记的节点的表示能力。具体来说,为了选择用于标记的节点,我们的框架在基于无监督特征和监督特征的动态组合的潜在空间上使用K-Medoids聚类算法。此外,我们还设计了一个增量式分簇模块,以避免在不同步骤中选择的节点之间的冗余。在五个数据集上进行的大量实验表明,我们提出的框架LSCALE始终显著优于最先进的方法。
2022-07-20 cs.LG cs.SI
Deep Spectral Clustering using Dual Autoencoder Network
Xidian University(西安电子科技大学);Southern University of Science and Technology(南方科技大学);Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯人工智能实验室)
聚类方法最近在学习和视觉领域受到越来越多的关注。深度聚类将嵌入和聚类结合在一起,以获得最佳嵌入子空间进行聚类,与传统的聚类方法相比,它可以更有效。在本文中,我们提出了一个联合学习框架的判别嵌入和谱聚类。我们首先设计了一个双自动编码器网络,它强制执行潜在表示及其噪声版本的重建约束,将输入嵌入到潜在空间中进行聚类。因此,学习的潜在表示可以对噪声更鲁棒。然后,利用互信息估计来提供来自输入的更多辨别性信息。此外,一个深谱聚类方法被应用到嵌入到特征空间的潜在表示,并随后聚类它们,它可以充分利用输入之间的关系,以达到最佳的聚类结果。基准数据集上的实验结果表明,我们的方法可以显着优于国家的最先进的聚类方法。
2019-04-30 cs.CV cs.LG stat.ML
Latent class analysis by regularized spectral clustering
Chongqing University of Technology(重庆理工大学)
本文提出基于正则化拉普拉斯矩阵的两种新算法,用于有序分类数据的潜在类别模型参数估计,并给出理论收敛速率、类别数确定度量及模拟与真实数据验证。
2026-09-09 cs.LG stat.ML
Towards K-means-friendly Spaces: Simultaneous Deep Learning and Clustering
University of Minnesota(明尼苏达大学);Iowa State University(爱荷华州立大学)
大多数学习方法分别处理降维(DR)和聚类(即,顺序),但最近的研究表明,联合优化这两项任务可以大大提高两者的性能。后一种类型背后的前提是,数据样本是通过易于聚类的潜在表示的线性变换获得的;但在实践中,从潜在空间到数据的变换可能更加复杂。在这项工作中,我们假设这个变换是一个未知的,可能是非线性函数。为了恢复“聚类友好”的潜在表示并更好地聚类数据,我们提出了一种联合DR和K均值聚类方法,其中DR是通过学习深度神经网络(DNN)来完成的。其动机是保持联合优化两个任务的优势,同时利用深度神经网络逼近任何非线性函数的能力。通过这种方式,所提出的方法可以很好地适用于广泛的生成模型。为此,我们仔细设计了DNN结构和相关的联合优化标准,并提出了一个有效的和可扩展的算法来处理公式化的优化问题。使用不同的真实数据集的实验来展示所提出的方法的有效性。
2017-06-13 cs.LG
Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems
Holon Institute of Technology (HIT)(霍隆技术学院);Afeka Academic College of Engineering(阿法卡工程学院)
研究多模态网络物理系统异常检测,提出联合潜在聚类方法,通过MIIM假设集、公平协议及潜在评分建模正常行为,在三个真实数据集上表现优异,优于其他深度检测器。
2026-08-11 cs.LG
Non-parametric clustering over user features and latent behavioral functions with dual-view mixture models
Laboratoire ERIC, Université de Lyon(里昂大学ERIC实验室);Technicolor(特艺集团);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心)
提出了一种基于用户特征和潜在行为功能的双视角混合模型对用户进行聚类。混合模型的每个分量表示针对观察到的用户属性的特征视图和针对通过用户动作或行为间接观察到的潜在行为功能的行为视图上的概率密度。我们的任务是推断用户群体以及他们潜在的行为功能。我们还提出了一个非参数版本的基础上的狄利克雷过程自动推断集群的数量。我们测试的属性和性能的模型上的一个合成的数据集,代表用户参与的线程的在线论坛。实验表明,当其中一个视图缺少信息时,双视图模型的性能优于单视图模型。
2018-12-18 cs.LG stat.ML
Latent Simplex Position Model: High Dimensional Multi-view Clustering with Uncertainty Quantification
University of Florida(佛罗里达大学)
高维数据通常包含多个方面,并且多个聚类模式可以在不同的变量子空间(也称为视图)下共存。虽然多视图聚类算法的提出,不确定性量化仍然是困难的-一个特殊的挑战是在估计每个视图下的聚类分配概率的高复杂性,并在视图之间共享信息。在这篇文章中,我们提出了一种近似贝叶斯方法-将在视图上生成的相似性矩阵作为共同分配概率的粗略第一阶段估计;在其Kullback-Leibler邻域中,我们获得了一个改进的低秩矩阵,由单纯形坐标的成对乘积形成。有趣的是,每个单纯形坐标直接编码聚类分配的不确定性。对于多视图聚类,我们让每个视图从几个候选者中提取一个参数化,从而实现降维。由于模型灵活性高,估计可以有效地作为一个连续的优化问题进行,因此享有基于梯度的计算。该理论将该模型与多视图下的随机分区分布建立了联系。与单视图聚类方法相比,当使用高维基因表达数据对来自人类创伤性脑损伤研究的大脑进行聚类时,获得了更多可解释的结果。关键词:协正则化聚类,一致性,PAC-Bayes,随机聚类图,变量选择
2019-10-07 cs.LG stat.ML
Causal Clustering for 1-Factor Measurement Models on Data with Various Types
Carnegie Mellon University(卡内基梅隆大学)
四元组约束是一个条件,其满足信号的协方差子矩阵的秩减少,并用于设计因果发现算法,检测潜在的(不可测量的)变量的存在,如FOFC。最初,这样的算法只适用于测量变量和潜在变量都是高斯的并且具有线性关系的情况(高斯-高斯情况)。它已被证明,一个一维潜变量模型意味着四元约束时,测量和潜变量都是二进制(Binary-Binary的情况下)。本文证明了当测量变量是混合数据类型和测量变量是离散的和潜在的共同原因是连续的,这意味着任何聚类算法依赖于此约束也可以工作在这些情况下,四元组约束。每个案例都有一个例子和一个证明。通过仿真研究表明了FOFC在混合数据上的性能,并与具有类似功能的一些算法进行了比较。
2020-09-18 cs.LG stat.ML
One for all: A novel Dual-space Co-training baseline for Large-scale Multi-View Clustering
Beijing Jiaotong University(北京交通大学);Nanjing University of Posts and Telecommunications(南京邮电大学)
本研究提出DSCMC双空间协同训练大规模多视图聚类模型,联合优化原始空间潜在一致锚点图构建与共享潜在空间特征变换,结合逐元素方法降低视图差异影响,以近似线性复杂度实现更优的大规模多视图聚类性能。
2024-01-28 cs.LG
MPCC: Matching Priors and Conditionals for Clustering
Universidad de Chile(智利大学);Millennium Institute of Astrophysics(千禧天体物理研究所);Universidad Austral de Chile(智利南方大学);Harvard University(哈佛大学)
聚类是无监督学习中的一项基本任务,它在很大程度上取决于所使用的数据表示。深度生成模型已经成为学习信息丰富的低维数据表示的一种有前途的工具。我们提出了用于聚类的匹配先验和条件(MPCC),这是一种基于GAN的模型,具有从数据中推断潜在变量和聚类类别的编码器,以及从条件潜在空间生成样本的灵活解码器。通过MPCC,我们证明了深度生成模型在聚类任务中可以与区别性方法竞争/优于各种基准数据集上的最新技术。我们的实验表明,添加可学习的先验知识并增加编码器更新的数量可以提高生成样本的质量,获得9.49 $\pm$ 0.15的初始得分,并在CIFAR 10中将Fréchet初始距离提高了46.9%。
2020-08-21 cs.LG
Geodesic Clustering in Deep Generative Models
University of Science and Technology Beijing(北京科技大学);Technical University of Denmark(丹麦技术大学)
深度生成模型在学习能够很好地描述数据的低维潜在表示方面非常成功。然而,这些表示往往会扭曲点之间的关系,即成对距离往往不能很好地反映语义相似性。这使得无监督的任务,如聚类,在使用潜在表示时变得困难。我们证明,考虑到生成模型的几何形状是足够的,使简单的聚类算法的工作以及潜在的表示。依靠最近的发现,深生成模型构成随机浸入黎曼流形,我们提出了一个有效的算法,用于计算测地线(最短路径)和计算潜在空间中的距离,同时考虑到它的失真。我们进一步提出了一种新的架构,用于对变分自编码器中的不确定性进行建模,这对于理解深度生成模型的几何结构至关重要。实验表明测地线距离很有可能反映数据的内部结构。
2018-09-13 cs.LG stat.ML
Deep clustering with fusion autoencoder
School of Computing and Artificial Intelligence, Southwest Jiaotong University(西南交通大学计算机与人工智能学院)
近年来,将深度学习技术用于聚类研究中的表示学习引起了广泛的关注,产生了一种新的聚类范式,即深度聚类(DC)。通常,DC模型利用自动编码器来学习内在特征,从而促进聚类过程。目前,一种称为变分自编码器(VAE)的生成模型在DC研究中得到了广泛的认可。然而,普通的VAE不足以感知全面的潜在特征,导致聚类性能下降。在本文中,提出了一种新的DC方法来解决这个问题。具体来说,生成对抗网络和VAE被合并到一个新的自动编码器中,称为融合自动编码器(FAE),用于识别更有区别的表示,这有利于下游的聚类任务。此外,FAE实现了深度残差网络架构,进一步增强了表示学习能力。最后,FAE的潜在空间被转换成由深密集神经网络形成的嵌入空间,用于将不同的聚类彼此拉开并折叠各个聚类内的数据点。在多个图像数据集上进行的实验证明了所提出的DC模型对基线方法的有效性。
2022-01-14 cs.LG
Perfect Spectral Clustering with Discrete Covariates
Pennsylvania State University(宾夕法尼亚州立大学)
在社区检测方法中,谱聚类具有两个理想的性质:计算效率和理论上的一致性保证。大多数谱聚类的研究只考虑网络的边缘作为算法的输入。在这里,我们考虑的问题进行社区检测存在的离散节点协变量,其中网络结构是由一个潜在的块模型结构和同质性的组合所观察到的协变量。我们提出了一个谱算法,我们证明实现了完美的聚类具有高概率的一类大型,稀疏的网络与离散的协变量,有效地分离潜在的网络结构同质性观察到的协变量。据我们所知,我们的方法是第一个提供了一个保证一致的潜在结构恢复使用谱聚类的边缘形成是依赖于潜在的和观察到的因素。
2022-05-17 cs.LG cs.SI math.ST
Linking Robustness and Generalization: A k* Distribution Analysis of Concept Clustering in Latent Space for Vision Models
Kyushu University(九州大学);IBM Research(IBM研究院)
该研究提出用k*分布直接分析视觉模型潜在空间的概念聚类情况,发现泛化性、鲁棒性提升与概念分布拆分程度降低正相关,为视觉模型潜在空间的解读与对比提供了新方法。
2024-08-17 cs.AI cs.CV cs.LG
Deep Image Clustering with Category-Style Representation
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Tencent Jarvis Lab(腾讯贾维斯实验室)
深度聚类采用深度神经网络来获得聚类的最佳表示,近年来得到了广泛的研究。在本文中,我们提出了一种新的深度图像聚类框架来学习类别风格的潜在表示,其中类别信息从图像风格中解脱出来,可以直接用作聚类分配。为了实现这一目标,互信息最大化被应用到嵌入相关信息的潜在表示。此外,增广不变损失被用来解开的表示为类别部分和风格部分。最后但并非最不重要的是,在潜在表示上施加先验分布,以确保类别向量的元素可以用作聚类上的概率。综合实验表明,所提出的方法优于国家的最先进的方法显着五个公共数据集。
2020-07-20 cs.CV cs.LG
Conditional Latent Block Model: a Multivariate Time Series Clustering Approach for Autonomous Driving Validation
Laboratoire Informatique de Paris-Nord(巴黎北部信息学实验室);Université Sorbonne Paris Nord(索邦巴黎北大学);Groupe Renault SAS(雷诺集团)
自动驾驶系统验证仍然是汽车制造商必须解决的最大挑战之一,以提供安全的无人驾驶汽车。高度复杂性源于几个因素:车辆的多样性,嵌入式系统,用例,以及驾驶系统至少与人类驾驶员一样安全的非常高的可靠性要求。为了规避这些问题,人们大量使用再现各种物理条件的大规模模拟来测试无人驾驶汽车。因此,验证步骤会产生大量的数据,包括许多时间索引的数据,需要处理。在这种情况下,必须在特征空间中构建结构来解释各种场景。在这项工作中,我们提出了一种新的共聚类方法,适用于高维时间序列分析,扩展了标准的基于模型的共聚类。FunCLBM模型扩展了最近提出的功能潜在块模型,并允许在行和列集群之间创建依赖结构。这种结构化的划分作为一种特征选择方法,它提供了数据集的几个聚类视图,同时区分不相关的特征。在这个工作流程中,时间序列被投影到一个公共的插值低维频率空间,这允许优化投影基础。此外,FunCLBM通过执行逐块降维和特征选择来细化每个潜在块的定义。我们提出了一个SEM-Gibbs算法来推断这个模型,以及一个专用的标准来选择最佳的嵌套分区。模拟和真实情况下的雷诺数据集上的实验表明,所提出的工具的有效性和我们的用例的充分性。
2020-08-03 cs.LG stat.ML
Deep Discriminative Latent Space for Clustering
Huawei Tel Aviv Research Center(华为特拉维夫研究中心)
聚类是数据分析和机器学习中最基本的任务之一。它是许多数据驱动应用程序的核心,这些应用程序旨在将数据分成具有相似模式的组。此外,聚类是一个复杂的过程,受数据表示方法的选择的影响很大。最近的研究表明,通过有效地学习这些表示,聚类结果令人鼓舞。在大多数这些工作中,深度自动编码器最初被预训练以最小化重建损失,然后与聚类质心联合优化以提高聚类目标。这些工作主要集中在程序的聚类阶段,而没有利用初始阶段的潜在好处。在本文中,我们提出了优化自动编码器相对于一个判别成对的损失函数在自动编码器的预训练阶段。我们证明了所提出的方法所获得的高精度及其快速收敛性(例如,在预训练阶段,在不到50个历元的时间内,MNIST的精度达到92%以上),即使是小网络。
2018-05-28 cs.AI cs.CV cs.LG
Federated Deep Clustering Networks for High-Dimensional and Heterogeneous Data
Maastricht University(马斯特里赫特大学)
针对联邦学习中高维异构数据聚类问题,提出FedDCN方法,通过联合优化重建与聚类损失并引入几何正则化,在非独立同分布场景下实现鲁棒聚类。
2026-09-21 cs.AI cs.LG