Deep Continuous Clustering
University of Maryland, College Park（马里兰大学帕克分校）；Intel Labs（英特尔研究院）
聚类高维数据集是困难的，因为点间距离在高维空间中变得不那么有用。我们提出了一个聚类算法，执行非线性降维和聚类联合。数据通过深度自动编码器嵌入到低维空间中。自动编码器作为聚类过程的一部分进行了优化。由此产生的网络产生聚类数据。所提出的方法不依赖于地面实况集群的数量的先验知识。联合非线性降维和聚类被制定为一个全局连续目标的优化。因此，我们避免了离散的重新配置的目标，以前的聚类算法的特点。在来自多个领域的数据集上的实验表明，该算法的性能优于最先进的聚类方案，包括使用深度网络的最新方法。
2018-03-05 cs.CV cs.LG
A Survey on Deep Clustering: From the Prior Perspective
College of Computer Science, Sichuan University（四川大学计算机学院）
本文从先验知识视角系统综述深度聚类方法，将其归纳为六类先验，总结先验创新的两大趋势，并在五个常用数据集上构建基准，为未来研究提供启发。
2024-07-01 cs.CV cs.LG
Clustering of longitudinal data: A tutorial on a variety of approaches
Eindhoven University of Technology（埃因霍温理工大学）；Philips Research（飞利浦研究院）；Tilburg University（蒂尔堡大学）
在过去的二十年中，在纵向数据中识别具有不同趋势的群体的方法在许多研究领域中越来越受到关注。为了支持研究人员，我们总结了有关纵向聚类的文献指导。此外，我们提出了一个选择的方法进行纵向聚类，包括基于组的轨迹建模（GBTM），增长混合建模（GMM），和纵向k均值（KML）。方法介绍了在一个基本的水平，并列出了优势，局限性和模型扩展。根据最近的发展，在数据收集，注意这些方法的适用性密集的纵向数据（ILD）。我们使用R中提供的软件包演示了该方法在合成数据集上的应用。
2021-11-10 cs.LG stat.ME stat.ML
Imputation Matters: A Deeper Look into an Overlooked Step in Longitudinal Health and Behavior Sensing Research
Northeastern University（东北大学）；Association for Computing Machinery（国际计算机学会）；Shiv Nadar Institution of Eminence（希夫·纳达尔卓越学院）
该研究指出纵向健康与行为被动感知研究中插补步骤常被忽视的问题，通过公开抑郁症感知数据集验证，提出的插补策略可将抑郁症预测AUROC最高提升31%，强调了插补的重要性并探讨了相关挑战与机遇。
2024-12-08 cs.AI cs.HC cs.LG
A Latent Gaussian Mixture Model for Clustering Longitudinal Data
有限混合模型已经成为一种流行的聚类工具。在其他用途中，它们已被应用于聚类纵向数据和聚类高维数据。在后一种情况下，有时使用潜在高斯混合模型。虽然已经有大量的工作，聚类使用潜在变量和聚类纵向数据，分别，一直是一个缺乏的工作，结合这些功能。在扩展的混合公因子分析模型的基础上，提出了一种多时间点纵向数据聚类方法。期望最大化算法的一种变体用于参数估计，贝叶斯信息准则用于模型选择。使用真实和模拟数据的方法来说明。
2018-04-13 stat.ME stat.ML
Clustering with Fast, Automated and Reproducible assessment applied to longitudinal neural tracking
Rice University（莱斯大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Department of Electrical and Computer Engineering, Rice University（莱斯大学电气与计算机工程系）；Department of Mathematics, University of Texas at Austin（德克萨斯大学奥斯汀分校数学系）
在许多领域，从神经跟踪到数据库实体解析，人类专家对聚类的手动评估是快速开发可扩展和专业聚类方法的瓶颈。为了解决这个问题，我们开发了C-FAR，一种新的方法，快速，自动化和可重复的多层次聚类算法同时评估。我们的算法需要任何数量的层次聚类树作为输入，然后策略性地查询对人类的反馈，并输出这些树提名的最佳聚类。虽然它适用于任何利用成对比较进行评估的领域中的大型数据集，但我们的旗舰应用是尖峰排序中的聚类聚合步骤，即将记录中的波形（尖峰）分配给神经元的任务。在96个神经元的模拟数据上，包括漂移和25%的黑障，我们的算法产生了相对于地面真实值的接近完美的跟踪。我们的运行时线性缩放输入树的数量，使其成为一个有竞争力的计算工具。这些结果表明，C-FAR非常适合作为聚类任务中的模型选择和评估工具。
2020-03-19 cs.LG q-bio.QM stat.ML
MMM: Clustering Multivariate Longitudinal Mixed-type Data
Univ Lyon, Univ Lyon 2, ERIC（里昂大学、里昂第二大学、ERIC）
提出MMM模型，通过矩阵多元正态分布混合在潜在维度聚类多元纵向混合型数据，同时建模异质性与时间依赖，无需条件独立假设。
2025-09-15 cs.LG stat.ME stat.ML
Clustering Higher Order Data: An Application to Pediatric Multi-variable Longitudinal Data
身体活动水平是心血管健康的重要预测指标，越来越多地通过传感器（如加速度计）进行测量。加速度计产生丰富的多元数据，可以为与个体患者和公共卫生相关的重要临床决策提供信息。CHAMPION研究是一项针对患有慢性炎症的年轻人的研究，旨在确定心脏健康，炎症，体育活动和健身之间的联系。CHAMPION的加速度计数据表示为4维数组，并建立了多维数组的有限混合模型进行聚类。基于模型的聚类用于多维数组的使用迄今为止仅限于二维数组，即，矩阵或二阶张量，本文中的工作也可以被看作是一种方法，用于聚类D维数组D > 2，或者换句话说，用于聚类阶D张量。
2020-12-04 stat.AP stat.ME stat.ML
N2D: (Not Too) Deep Clustering via Clustering the Local Manifold of an Autoencoded Embedding
University of Bristol（布里斯托大学）
深度聚类已经越来越多地显示出优于传统的浅聚类算法。深度聚类算法通常将表示学习与深度神经网络相结合以实现此性能，通常优化聚类和非聚类损失。在这种情况下，自动编码器通常与聚类网络连接，并且最终的聚类由自动编码器和聚类网络共同学习。相反，我们建议学习自动编码的嵌入，然后进一步搜索底层流形。为了简单起见，我们使用浅聚类算法对其进行聚类，而不是更深的网络。我们在原始数据和自动编码嵌入上研究了一些局部和全局流形学习方法，得出的结论是，我们框架中的UMAP最能找到嵌入中最具聚类性的流形，这表明自动编码嵌入上的局部流形学习对于发现更高质量的发现聚类是有效的。我们在一系列图像和时间序列数据集上定量显示，我们的方法与最新的深度聚类算法相比具有竞争力的性能，包括在几个方面优于当前最先进的算法。我们假设，这些结果显示了一个有前途的研究方向，深度聚类。代码可以在https://github.com/rymc/n2d上找到
2020-06-30 cs.LG stat.ML
Deep Ensemble Tensor Factorization for Longitudinal Patient Trajectories Classification
KU LEUVEN（鲁汶大学）
我们提出了一种生成的方法来分类几乎没有观察到的纵向患者轨迹。可用的时间序列表示为张量，并使用生成式深度递归神经网络进行因子分解。所学习的因子以紧凑的方式表示患者数据，然后可以用于下游分类任务。为了提高预测的鲁棒性和准确性，我们使用了这些深度生成模型的集合来模拟贝叶斯后验采样。我们说明了我们的架构上的重症监护的住院死亡率预测与96个纵向测量类型的入院后的第一个48小时内测量的案例研究的性能。我们的生成和集成策略的组合实现了超过0.85的AUC，并且优于SAPS-II死亡率评分和GRU基线。
2018-11-28 cs.LG stat.ML
Spectral Clustering via Ensemble Deep Autoencoder Learning (SC-EDAE)
University of Paris Descartes（巴黎笛卡尔大学）
最近，许多作品研究了结合经典聚类算法和深度学习方法的聚类策略。这些方法遵循顺序方式，其中在使用k-means获得聚类之前使用深度自动编码器学习深度表示，或者同时方式，其中通过优化单个目标函数来联合学习深度表示和聚类。这两种策略都提高了聚类性能，但是这些方法的鲁棒性受到几个深层自动编码器设置问题的阻碍，其中包括权重初始化，层的宽度和数量或epoch的数量。为了减轻这种超参数设置对聚类性能的影响，我们提出了一种新的模型，该模型在集成学习框架中结合了谱聚类和深度自动编码器的优势。在各种基准数据集上的广泛实验证明了我们的方法与最先进的深度聚类方法相比的潜力和鲁棒性。
2019-06-12 cs.LG stat.ML
Longitudinal Deep Kernel Gaussian Process Regression
Pennsylvania State University（宾夕法尼亚州立大学）
高斯过程为从纵向数据进行预测建模提供了有吸引力的框架，即，随着时间的推移，从一组个体中进行不规则采样的稀疏观察。然而，这样的方法有两个关键的缺点：（i）他们依赖于临时的算法或昂贵的试错来选择有效的内核，（ii）他们无法处理数据中的多级相关结构。我们引入纵向深度核高斯过程回归（L-DKGPR），据我们所知，这是唯一的方法，以克服这些限制，通过完全自动化的发现复杂的多级相关结构从纵向数据。具体而言，L-DKGPR消除了对特设算法或试错的需要，使用深度内核学习的新适应，将深度神经网络的表达能力与非参数核方法的灵活性相结合。L-DKGPR有效地学习与一种新的加法内核，同时适应时变和时不变的影响的多级相关。利用隐空间诱导点和变分推断，我们得到了一个有效的训练L-DKGPR的算法。在多个基准数据集上的大量实验结果表明，L-DKGPR显著优于最先进的纵向数据分析（LDA）方法。
2020-12-07 cs.LG stat.ML
Deep Clustering with a Constraint for Topological Invariance based on Symmetric InfoNCE
Tokyo Institute of Technology（东京工业大学）；Fujitsu Limited（富士通有限公司）；RIKEN AIP（理化学研究所人工智能研究中心）
我们考虑深度聚类的情况下，可用的先验知识是有限的。在这种情况下，很少有现有的最先进的深度聚类方法可以很好地执行非复杂拓扑和复杂拓扑数据集。为了解决这个问题，我们提出了一个约束，利用对称的InfoNCE，这有助于深度聚类方法的目标在场景中的模型训练，以便不仅是有效的非复杂的拓扑结构，但也复杂的拓扑数据集。此外，我们提供了几个理论解释的原因，约束可以提高性能的深度聚类方法。为了确认所提出的约束的有效性，我们引入了一种名为MIST的深度聚类方法，它是现有深度聚类方法和我们的约束的组合。我们通过MIST的数值实验表明，该约束是有效的。此外，对于大多数常用的十个基准数据集，MIST的性能优于其他最先进的深度聚类方法。
2023-03-06 cs.LG stat.ML
Improving Patient Subtyping on Longitudinal Data using Representations from Mamba-based Architecture
University of Delaware（德克萨斯大学）
提出一种自监督Mamba模型，学习电子健康记录的有效表示，以改进患者亚型分类，在真实数据集上优于基线模型。
2026-06-26 cs.LG stat.ML
Deep Clustering Evaluation: How to Validate Internal Clustering Validation Measures
University of Kentucky（肯塔基大学）
本文针对深度聚类评估中传统内部聚类验证指标的问题，提出一套系统评估框架，通过理论分析、识别可靠嵌入空间及加权评分，减少不当使用指标的误导，提升与外部指标的一致性。
2026-08-25 cs.LG stat.ML
Residual Encoder-Decoder Network for Deep Subspace Clustering
Peking University（北京大学）
子空间聚类的目标是对位于低维线性子空间的并集中的未标记数据进行聚类。基于自动编码器的深度子空间聚类方法已经成为解决子空间聚类问题的一种非常流行的方法。然而，当前深度方法的训练收敛缓慢，这比传统方法效率低得多。我们提出了一种用于深度子空间聚类的残差编码器-解码器网络（RED-SC），它将卷积层和去卷积层与跳过层连接对称地连接起来，使用这种连接，训练收敛得更快。我们使用一个自我表达层，通过多个潜在空间的不同潜在表示来生成更准确的线性表示系数。实验结果表明，RED-SC算法在训练效率和聚类准确率上都具有一定的优势。此外，我们是第一个将残差编码器-解码器应用于无监督学习任务的人。
2019-10-12 cs.LG stat.ML
Deep clustering with concrete k-means
University of Edinburgh（爱丁堡大学）；University of Surrey（萨里大学）；Samsung AI Centre（三星人工智能中心）
我们解决的问题，同时学习k均值聚类和深度特征表示从未标记的数据，这是感兴趣的，由于深度k均值的潜力优于传统的两步特征提取和浅聚类策略。我们通过Gumbel-Softmax重新参数化技巧为不可微的k-means目标开发一个梯度估计器来实现这一点。与之前的深度聚类尝试相比，我们的具体k-means模型可以针对标准k-means目标进行优化，并且很容易进行端到端训练，而无需采用交替优化。我们证明了我们的方法对标准聚类基准的有效性。
2019-10-17 cs.LG stat.ML
A Framework for Deep Constrained Clustering -- Algorithms and Advances
University of California, Davis（加州大学戴维斯分校）；Google Research（谷歌研究院）
约束聚类领域已经被研究人员广泛探索，并被实践者使用。约束聚类公式适用于k均值、混合模型和谱聚类等流行算法，但有几个局限性。深度学习的一个基本优势是它的灵活性，在这里，我们将探索一个用于约束聚类的深度学习框架，特别是探索它如何扩展约束聚类领域。我们表明，我们的框架不仅可以处理标准的一起/分开的约束（没有记录良好的负面影响报告）产生的标记的边信息，但更复杂的约束产生的新类型的边信息，如连续值和高层次的领域知识。
2019-12-19 cs.LG stat.ML
DPSOM: Deep Probabilistic Clustering with Self-Organizing Maps
ETH Zürich（苏黎世联邦理工学院）
从复杂数据生成可解释的可视化是许多应用中的常见问题。解决这个问题的两个关键要素是聚类和表示学习。然而，当前的方法尚未成功地结合这两种方法的优点。现有的表示学习模型依赖于潜在的拓扑结构，如自组织映射，表现出显着较低的聚类性能相比，最近的深度聚类方法。为了缩小这一性能差距，我们（a）提出了一种新的方法来适应自组织映射与概率聚类分配（PSOM），（b）提出了一种新的深度架构的概率聚类（DPSOM）使用VAE，和（c）扩展我们的架构的时间序列聚类（T-DPSOM），这也允许预测的潜在空间使用LSTM。我们表明，DPSOM实现了优越的聚类性能相比，目前的深度聚类方法MNIST/时尚MNIST，同时保持良好的可视化特性的SOM。在医疗时间序列上，我们证明了T-DPSOM在时间序列聚类和时间序列预测方面优于基线方法，同时提供了患者状态轨迹和不确定性估计的可解释的可视化。
2020-06-09 cs.LG stat.ML
Structural Deep Clustering Network
Beijing University of Posts and Telecommunications（北京邮电大学）；Tencent（腾讯）；Tsinghua University（清华大学）
聚类是数据分析中的一项基本任务。最近，主要从深度学习方法中获得灵感的深度聚类实现了最先进的性能，并引起了相当大的关注。当前的深度聚类方法通常借助于深度学习的强大表示能力来提升聚类结果，例如，自动编码器，这表明学习有效的聚类表示是一个至关重要的要求。深度聚类方法的优势在于从数据本身提取有用的表示，而不是数据的结构，这在表示学习中很少受到关注。基于图卷积网络（GCN）在编码图结构方面取得的巨大成功，提出了一种结构化深度聚类网络（SDCN），将结构信息集成到深度聚类中。具体来说，我们设计了一个传递算子来将自动编码器学习到的表示传递到相应的GCN层，并设计了一个双重自监督机制来统一这两种不同的深度神经架构，并指导整个模型的更新。通过这种方式，从低阶到高阶的多种数据结构自然地与自动编码器学习的多种表示相结合。此外，我们从理论上分析了交付运营商，即，通过传递算子，GCN将自动编码器特定的表示改进为高阶图正则化约束，并且自动编码器有助于减轻GCN中的过度平滑问题。通过全面的实验，我们证明了我们提出的模型可以始终比最先进的技术表现得更好。
2020-02-12 cs.LG stat.ML
Adversarial Deep Embedded Clustering: on a better trade-off between Feature Randomness and Feature Drift
University of Quebec at Montreal（蒙特利尔魁北克大学）；University of Windsor（温莎大学）
近年来，使用深度自动编码器的聚类已经得到了彻底的研究。目前的方法依赖于同时学习嵌入式特征和聚类潜在空间中的数据点。尽管许多深度聚类方法在几个高语义数据集上取得了良好的结果，但这些模型的一个关键弱点被忽视了。在缺乏具体监督信号的情况下，嵌入式聚类目标函数可能会通过从不可靠的伪标签中学习来扭曲潜在空间。因此，网络可以学习非代表性的特征，这反过来又破坏了区分能力，产生更差的伪标签。为了减轻随机判别特征的影响，现代基于自动编码器的聚类论文提出使用重建损失进行预训练，并在聚类阶段作为正则化器。然而，聚类-重构折衷可能导致\textit{Feature Drift}现象。在本文中，我们提出了ADEC（对抗深度嵌入式聚类）一种新的基于自动编码器的聚类模型，它解决了一个双重问题，即\textit{Feature Randomness}和\textit{Feature Drift}，使用对抗训练。我们经验证明了我们的模型在处理这些问题上使用基准真实数据集的适用性。实验结果验证了我们的模型优于最先进的自动编码器为基础的聚类方法。
2019-09-26 cs.LG stat.ML
Multi-View Multiple Clusterings using Deep Matrix Factorization
Southwest University（西南大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；George Mason University（乔治梅森大学）
多视图聚类的目的是整合来自多个异构视图的互补信息，以提高聚类结果。现有的多视图聚类解决方案只能输出单个聚类的数据。由于其多样性，多视图数据可以从不同的角度进行合理和有趣的不同分组。然而，如何从多视图数据中发现多个、有意义的、多样的聚类结果仍然是多视图聚类和多聚类中一个很少研究和具有挑战性的课题。在本文中，我们引入了一个基于深度矩阵分解的解决方案（DMClusts）来发现多个聚类。DMClusts逐步将多视图数据矩阵分解为逐层的表示子空间，并在每层中生成一个聚类。为了加强所生成的聚类之间的多样性，它最小化了一个新的冗余量化项，该量化项来自这些子空间中样本之间的接近度。我们进一步引入了一个迭代优化过程，同时寻求多个聚类的质量和多样性。在基准数据集上的实验结果证实，DMClusts优于最先进的多个聚类解决方案。
2019-11-26 cs.LG stat.ML
Deep Kernel Learning for Clustering
Northeastern University（东北大学）
我们提出了一种深度学习方法，用于发现针对样本数据识别聚类的内核。我们的神经网络产生的样本嵌入是由谱聚类激发的，并且至少与谱聚类一样具有表达力。我们的训练目标，基于Hilbert Schmidt信息准则，可以通过Stiefel流形上的梯度自适应来优化，从而显著加速依赖于特征分解的谱方法。最后，我们训练的嵌入可以直接应用于样本外数据。我们的实验表明，我们的方法优于几个国家的最先进的深度聚类方法，以及传统的方法，如$k$ -手段和谱聚类在广泛的现实生活和合成数据集。
2020-01-02 cs.LG stat.ML
Deep $k$-Means: Jointly clustering with $k$-Means and learning representations
本文研究了联合聚类和学习表示的问题。正如之前的几项研究所表明的那样，学习既忠实于待聚类的数据又适应聚类算法的表示可以带来更好的聚类性能，更重要的是，这两项任务是联合执行的。我们在这里提出了这样一种方法，$k$ -均值聚类的基础上连续reparametrization的目标函数，导致一个真正的联合解决方案。我们的方法的行为在各种数据集上进行了说明，显示了它在聚类时学习对象表示的有效性。
2018-12-12 cs.LG stat.ML
Joint Optimization of an Autoencoder for Clustering and Embedding
UiT The Arctic University of Norway（挪威北极圈大学）；Institute of Information Systems（信息系统研究所）
深度嵌入式聚类已经成为使用深度神经网络对对象进行无监督分类的主要方法。最流行的方法的优化在深度自动编码器的训练和自动编码器嵌入的k均值聚类之间交替。然而，历时性的背景使前者无法从后者获得的有价值的信息中获益。在本文中，我们提出了一种替代方案，其中自动编码器和聚类同时学习。这是通过提供新的理论见解来实现的，在那里我们表明，某一类高斯混合模型（GMM）的目标函数可以自然地被改写为一个隐藏层自动编码器的损失函数，从而继承了GMM的内置聚类能力。这个简单的神经网络，被称为聚类模块，可以被集成到深度自动编码器中，从而产生能够联合学习聚类和嵌入的深度聚类模型。实验证明了聚类模型与高斯混合模型的等价性。进一步的评估肯定了我们的深度架构的经验相关性，因为它在几个数据集上的表现优于相关基线。
2021-05-01 cs.LG stat.ML
DeepDPM: Deep Clustering With an Unknown Number of Clusters
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
深度学习（DL）在无监督聚类任务中表现出了巨大的潜力。也就是说，虽然在古典（即，非深度）聚类非参数方法的好处是众所周知的，大多数深度聚类方法是参数的：即，它们需要预定义的固定数目的聚类，用K表示。然而，当K未知时，使用模型选择标准来选择其最佳值可能会在计算上变得昂贵，特别是在DL中，因为训练过程必须重复多次。在这项工作中，我们通过引入一种有效的深度聚类方法来弥合这一差距，该方法不需要知道K的值，因为它在学习过程中推断它。使用分裂/合并框架，一个动态的架构，适应不断变化的K，和一个新的损失，我们提出的方法优于现有的非参数方法（经典和深度）。虽然现有的极少数深度非参数方法缺乏可扩展性，但我们通过第一个在ImageNet上报告这种方法的性能来证明我们的方法。我们还展示了推断K的重要性，通过展示当假设的K值与地面真实值相差更远时，特别是在不平衡数据集上，修复K的方法如何在性能上恶化。我们的代码可在https://github.com/BGU-CS-VIL/DeepDPM上获得。
2022-03-27 cs.LG stat.ML
Deep Incomplete Multi-View Multiple Clusterings
Joint SDU-NTU Centre for Artificial Intelligence Research, Shandong University（山东大学-南洋理工大学人工智能联合研究中心,山东大学）；College of Computer and Information Sciences, Southwest University（西南大学计算机与信息科学学院）；School of Software, Shandong University（山东大学软件学院）；CEMSE, King Abdullah University of Science and Technology（计算机、工程与数学科学学院,沙特阿拉伯国王阿卜杜拉科技大学）；Department of Computer Science, George Mason University（乔治梅森大学计算机科学系）
多视图聚类的目的是利用来自多个异构视图的信息来促进聚类。大多数以前的作品搜索只有一个最佳的聚类的基础上预定义的聚类标准，但设计这样一个标准，捕捉用户需要的是困难的。由于多视图数据的多样性，我们可以有有意义的替代聚类。此外，不完全多视图数据问题在现实世界中是普遍存在的，但尚未研究多个聚类。为了解决这些问题，我们引入了一个深度不完整多视图多聚类（DiMVMC）框架，该框架通过优化多组解码器深度网络，同时实现数据视图和多个共享表示的完成。此外，它最小化的冗余项，同时%使用希尔伯特-施密特独立性准则（HSIC）来控制这些表示之间的差异和不同的网络参数之间。接下来，它从这些共享表示中的每一个生成单独的聚类。在基准数据集上的实验证实，DiMVMC在生成具有高多样性和高质量的多个聚类方面优于最先进的竞争对手。
2020-10-02 cs.LG stat.ML
Deep Amortized Clustering
AITRICS；Kakao Corporation；University of Oxford & Deepmind（牛津大学 & Deepmind）
我们提出了一种深度摊销聚类（DAC），这是一种神经架构，它可以学习使用几次向前传递来有效地聚类数据集。DAC隐式地学习是什么构成了一个集群，如何将数据点分组到集群中，以及如何计算数据集中集群的数量。DAC是使用标记数据集进行训练的元学习，这一过程不同于传统的聚类算法，传统的聚类算法通常需要手动指定的关于聚类形状/结构的先验知识。我们的经验表明，在合成数据和图像数据上，DAC可以有效和准确地聚类来自用于生成训练数据集的相同分布的新数据集。
2019-09-30 cs.LG stat.ML
An Investigation of Quantum Deep Clustering Framework with Quantum Deep SVM & Convolutional Neural Network Feature Extractor
Amity Institute of Information Technology（阿米提信息技术学院）；Amity University（阿米提大学）；Coventry University（考文垂大学）
在本文中，我们提出了一种深度量子SVM公式，并进一步展示了基于量子深度SVM公式、深度卷积神经网络和量子K-Means聚类的量子聚类框架。我们研究了所提出的量子深度聚类框架的运行时间计算复杂性，并与可能的经典实现进行了比较。我们的调查表明，所提出的量子版本的深度聚类公式显示出显着的性能增益（在许多部分指数加速增益）对可能的经典实现。所提出的理论量子深度聚类框架也是有趣的，是对量子经典机器学习公式的新颖研究，以表达最大的性能。
2019-09-21 cs.AI cs.LG stat.ML
Unsupervised training of a deep clustering model for multichannel blind source separation
Paderborn University（帕德博恩大学）
我们提出了一种训练方案，当并行干净数据不可用时，从头开始训练基于神经网络的声源分离算法。特别是，我们证明了无监督的空间聚类算法足以指导深度聚类系统的训练。我们认为，以前的工作需要强有力的监督，并详细说明为什么这是一个限制。我们证明了（a）根据所提出的方案单独训练的单通道深度聚类系统能够在单词出错率方面实现与多通道教师类似的性能，以及（b）使用深度聚类结果初始化空间聚类方法，与无监督教师相比，相对单词出错率降低了26%。
2019-04-02 cs.LG eess.SP stat.ML
Deep Density-based Image Clustering
University of Electronic Science and Technology of China（电子科技大学）
最近，能够通过深度神经网络执行有利于聚类任务的特征学习的深度聚类在图像聚类应用中取得了显著的性能。然而，现有的深度聚类算法通常需要预先知道聚类的数量，而这在现实任务中通常是未知的。此外，在学习的特征空间中的初始聚类中心生成的$k$ -手段。这只适用于球形聚类，并可能导致不稳定的聚类结果。在本文中，我们提出了一个两阶段的深度密度为基础的图像聚类（DDC）框架来解决这些问题。第一阶段是训练深度卷积自动编码器（CAE）以从高维图像数据中提取低维特征表示，然后应用t-SNE将数据进一步减少到有利于基于密度的聚类算法的2维空间。第二阶段是应用开发的基于密度的聚类技术的2维嵌入数据自动识别适当数量的集群与任意形状。具体地说，该算法通过生成多个局部聚类来捕捉聚类的局部结构，然后通过聚类结果的密度关系进行聚类合并。实验表明，所提出的DDC实现可比的，甚至更好的聚类性能比国家的最先进的深度聚类方法，即使没有给出的集群的数量。
2018-12-11 cs.CV cs.LG stat.ML
Improving Deep Image Clustering With Spatial Transformer Layers
Universidade Federal de Pernambuco（伯南布哥联邦大学）
图像聚类是机器学习中一项重要而又具有挑战性的任务。与大多数图像处理领域一样，最新的改进来自基于深度学习方法的模型。然而，经典的深度学习方法在处理像缩放和旋转这样的空间图像变换时存在问题。在本文中，我们提出了使用视觉注意技术，以减少这个问题的图像聚类方法。我们评估了称为深度自适应聚类（DAC）的深度图像聚类模型与空间Transformer网络（STN）的组合。该模型在数据集MNIST和FashionMNIST中进行了评估，并优于基线模型。
2019-10-24 cs.CV cs.LG stat.ML
Deep Clustering Based on a Mixture of Autoencoders
Bar-Ilan University（巴伊兰大学）
在本文中，我们提出了一种基于深度自动编码器混合的深度自动编码器混合聚类（DAMIC）算法，其中每个聚类由一个自动编码器表示。聚类网络将数据转换到另一个空间，然后选择其中一个聚类。接下来，使用与该聚类相关联的自动编码器来重建数据点。聚类算法联合学习非线性数据表示和自编码器集合。通过最小化混合自编码器网络的重构损失来寻找最优聚类。与其他深度聚类算法不同，不需要正则化项来避免数据崩溃到单个点。我们对图像和文本语料库的实验评估表明，国家的最先进的方法显着改善。
2019-03-27 cs.AI cs.LG stat.ML
Deep Clustering With Intra-class Distance Constraint for Hyperspectral Images
Liaoning Technical University（辽宁工程技术大学）；Haixi Institute, Chinese Academy of Sciences（中国科学院海西研究院）；Technical University of Munich（慕尼黑工业大学）；Hong Kong Polytechnic University（香港理工大学）
高光谱图像的高维性往往导致聚类性能的下降。基于深度学习的聚类算法由于其强大的深度特征提取能力和非线性特征表示能力，成为高光谱遥感领域的研究热点。然而，大多数高光谱图像的深度聚类算法利用深度神经网络作为特征提取器，而不考虑适合聚类的先验知识约束。为了解决这个问题，我们提出了一个类内距离约束的高维高光谱图像深度聚类算法。该算法通过类内距离约束自动编码器网络的特征映射过程，使原始图像从原始高维空间转换到更有利于聚类的低维特征空间。此外，相关的学习过程被视为深度特征提取和聚类的联合优化问题。实验结果表明，该算法与现有的高光谱图像聚类方法相比具有很强的竞争力。
2019-04-01 cs.LG eess.IV stat.ML
Deep Fair Discriminative Clustering
University of California - Davis（加州大学戴维斯分校）
与传统的聚类方法（如$k$ -means和谱聚类）相比，深度聚类具有学习强表示的潜力，因此具有更好的聚类性能。然而，这种强大的表示学习能力可能会通过发现受保护信息的代理人而使聚类不公平，这在我们的实验中是经验性的。在这项工作中，我们研究了一个一般的概念，二进制和多状态保护状态变量（PSV）的组级公平性。我们首先将组级公平性问题制定为整数线性规划公式，其完全么模约束矩阵意味着它可以通过线性规划有效地解决。然后，我们展示了如何将此求解器注入到一个有区别的深度聚类骨干中，从而提出了一种改进的学习算法，将聚类目标与公平目标相结合，以自适应地学习公平聚类。在真实数据集上的实验结果表明，我们的模型始终优于最先进的公平聚类算法。我们的框架显示出可喜的成果，新的聚类任务，包括灵活的公平性约束，多状态PSV和预测聚类。
2021-05-28 cs.CY cs.LG stat.ML
Deep Discriminative Clustering Analysis
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Intel Labs China（英特尔中国研究院）
传统的聚类方法往往用低级的无差别表示进行聚类，忽略了模式之间的关系，导致在深度学习时代收效甚微。为了解决这个问题，我们开发了深度判别聚类（DDC），它通过使用深度神经网络调查模式之间的关系来建模聚类任务。在技术上，引入全局约束以自适应地估计关系，并开发局部约束以赋予网络学习高级判别表示的能力。通过迭代地训练网络并以小批量方式估计关系，DDC理论上收敛，并且训练的网络能够生成一组可以被视为直接聚类的聚类中心的判别表示。大量的实验表明，DDC优于目前的方法在8个图像，文本和音频数据集同时。
2019-05-05 cs.CV cs.LG stat.ML
Deep Spectral Clustering using Dual Autoencoder Network
Xidian University（西安电子科技大学）；Southern University of Science and Technology（南方科技大学）；Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）
聚类方法最近在学习和视觉领域受到越来越多的关注。深度聚类将嵌入和聚类结合在一起，以获得最佳嵌入子空间进行聚类，与传统的聚类方法相比，它可以更有效。在本文中，我们提出了一个联合学习框架的判别嵌入和谱聚类。我们首先设计了一个双自动编码器网络，它强制执行潜在表示及其噪声版本的重建约束，将输入嵌入到潜在空间中进行聚类。因此，学习的潜在表示可以对噪声更鲁棒。然后，利用互信息估计来提供来自输入的更多辨别性信息。此外，一个深谱聚类方法被应用到嵌入到特征空间的潜在表示，并随后聚类它们，它可以充分利用输入之间的关系，以达到最佳的聚类结果。基准数据集上的实验结果表明，我们的方法可以显着优于国家的最先进的聚类方法。
2019-04-30 cs.CV cs.LG stat.ML
Deep Closed-Form Subspace Clustering
SI Analytics（SI Analytics公司）
我们提出了深度闭型子空间聚类（DCFSC），一个新的非常简单的模型，用于子空间聚类与学习非线性映射。与以前的深度子空间聚类（DSC）技术相比，我们的DCFSC没有任何参数在所有的自我表达层。相反，DCFSC利用了隐式数据驱动的自表达层，该层来自封闭形式的浅层自动编码器。此外，DCFSC也没有复杂的优化方案，不像其他的子空间聚类方法。由于其极其简单，DCFSC与现有的DSC方法相比具有显着的内存相关优势，特别是在大型数据集上。实验结果表明，DCFSC模型有足够的潜力成为一个新的参考模型的子空间聚类的大规模高维数据集。
2019-08-26 cs.CV cs.LG stat.ML
Deep Clustering and Conventional Networks for Music Separation: Stronger Together
Columbia University（哥伦比亚大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
深度聚类是处理具有相同类型的多个源和任意数量的源的一般音频分离场景的第一种方法，在与说话者无关的语音分离任务中表现出色。然而，很少有人知道它在其他具有挑战性的情况下，如音乐源分离的有效性。与直接估计源信号的传统网络相反，深度聚类为每个时频bin生成嵌入，并通过对嵌入空间中的bin进行聚类来分离源。我们发现，在匹配和不匹配的条件下，深度聚类在歌声分离任务上的表现优于传统网络，尽管传统网络具有端到端训练的优势，可以获得最佳信号近似，这可能是因为其更灵活的目标可以产生更好的正则化。由于深度聚类和传统网络架构的优势似乎是互补的，因此我们探索将它们结合在一个通过类似于多任务学习的方法训练的混合网络中。值得注意的是，该组合的表现明显优于其任何一个组成部分。
2017-06-15 cs.LG cs.SD stat.ML
Dissimilarity Mixture Autoencoder for Deep Clustering
Universidad Nacional de Colombia（哥伦比亚国立大学）
相异性混合自动编码器（DMAE）是一种用于基于特征的聚类的神经网络模型，它包含灵活的相异性函数，可以集成到任何类型的深度学习架构中。它在内部表示一个相异性混合模型（DMM），该模型通过将概率重新解释为神经网络表示，将K均值、高斯混合模型或Bregman聚类等经典方法扩展到任何凸和可微相异性函数。DMAE可以与深度学习架构集成到端到端模型中，允许同时估计聚类和神经网络的参数。在图像和文本聚类基准数据集上进行了实验评估，结果表明DMAE在无监督分类精度和归一化互信息方面具有竞争力。DMAE实现的源代码可在https://github.com/juselara1/dmae上公开获得
2021-07-15 cs.CV cs.LG stat.ML
Smile-GANs: Semi-supervised clustering via GANs for dissecting brain disease heterogeneity from medical images
University of Pennsylvania（宾夕法尼亚大学）
应用于复杂生物医学数据的机器学习方法已经能够构建具有诊断/预后价值的疾病特征。然而，很少有人注意到了解疾病的异质性。半监督聚类方法可以通过估计从（例如健康）对照（CN）组到患者（PT）组的多个转换来解决这个问题，试图捕获潜在病理过程的异质性。在此，我们提出了一种新的方法，微笑-GANs（SeMi-supervised cLustEring via GANs），用于半监督聚类，并将其应用于脑MRI扫描。Smile-GAN首先通过从CN生成PT来学习多个不同的映射，每个映射都表征一个相对不同的病理模式。此外，聚类模型与映射函数交互训练，以将PT分配到相应的子类型成员。通过对PT/CN数据分布的宽松假设和施加映射非线性，Smile-GANs捕获CN和PT域之间分布的异质差异。我们首先使用模拟数据验证Smile-GANs，随后在真实数据上验证，通过展示其在表征阿尔茨海默病（AD）及其前驱期异质性方面的潜力。该模型首先使用ADNI 2数据库的基线MRI进行训练，然后应用于ADNI 1和BLSA的纵向数据。发现了四种具有不同神经解剖学模式的稳健亚型：1）正常脑，2）非典型AD的弥漫性萎缩，3）局灶性内侧颞叶萎缩，4）典型AD。进一步的纵向分析发现了从前驱期到完全AD的两种不同的进展途径：i）亚型1 - 2 - 4，和ii）亚型1 - 3 - 4。虽然在一个重要的生物医学问题上得到了证明，但Sm…
2020-06-27 cs.LG eess.IV q-bio.QM
Deep Representation Learning for Clustering of Health Tweets
Faculty of Medicine and Health Technology, Tampere University（坦佩雷大学医学院与健康技术学院）
Twitter一直是一个突出的社交媒体平台，用于挖掘人口层面的健康数据，将健康相关的推文准确聚类为主题对于提取相关的健康见解非常重要。在这项工作中，我们提出了深度卷积自动编码器，用于学习健康相关推文的紧凑表示，进一步用于聚类。我们比较了我们的方法，几个传统的鸣叫表示方法，包括袋的话，词频逆文档频率，潜在的Dirichlet分配和非负矩阵分解3种不同的聚类算法。我们的研究结果表明，聚类性能使用建议的表示学习计划显着优于传统的方法为所有实验的不同数量的集群。此外，为了进一步提高聚类性能，我们在神经网络训练过程中对学习到的表示提出了一个约束。总而言之，本研究介绍了基于深度神经网络的架构的利用，即，深度卷积自动编码器，用于学习健康相关推文的信息表示。
2018-12-25 cs.CL cs.IR cs.LG
Interpreting deep embeddings for disease progression clustering
BenevolentAI（BenevolentAI公司）
本文提出一种解释患者聚类中深度嵌入的新方法，在UK Biobank的2型糖尿病数据集上验证，揭示了具有临床意义的疾病进展模式。
2023-07-31 cs.CL cs.LG q-bio.QM
Clustering with Deep Learning: Taxonomy and New Methods
Technical University of Munich（慕尼黑工业大学）
基于深度神经网络的聚类方法由于其高表示能力而被证明有希望聚类真实世界的数据。在本文中，我们提出了一种利用深度神经网络的聚类方法的系统分类。我们基于我们的分类法对最近的工作进行了全面的回顾，并在案例研究中验证了分类法。在这个案例研究中，我们表明，分类使研究人员和从业者有选择地重组和取代以前的方法的不同方面，克服其个别的局限性的目标，系统地创建新的聚类方法。实验评估证实了这一点，并表明，为案例研究创建的方法实现了最先进的聚类质量，并在某些情况下超越它。
2018-09-13 cs.AI cs.CV cs.LG
A deep learning pipeline for cross-sectional and longitudinal multiview data integration
University of Minnesota Twin Cities（明尼苏达大学双城分校）
本文提出一种结合统计与深度学习的流水线，用于整合横截面和纵向多视图数据，并通过变量选择、特征提取及联合分类识别与IBD状态相关的关键组学特征。
2023-12-02 cs.LG stat.AP stat.CO
