Imbalanced Data Clustering using Equilibrium K-Means
针对传统K均值算法在非平衡数据上偏向大簇的问题，本文提出基于玻尔兹曼算子和质心排斥机制的均衡K均值（EKM），在保持与FKM相同复杂度的同时显著提升非平衡数据聚类性能，并统一了K均值算法的梯度下降形式。
2024-06-06 cs.LG stat.ML
Spectral Clustering via Ensemble Deep Autoencoder Learning (SC-EDAE)
University of Paris Descartes（巴黎笛卡尔大学）
最近，许多作品研究了结合经典聚类算法和深度学习方法的聚类策略。这些方法遵循顺序方式，其中在使用k-means获得聚类之前使用深度自动编码器学习深度表示，或者同时方式，其中通过优化单个目标函数来联合学习深度表示和聚类。这两种策略都提高了聚类性能，但是这些方法的鲁棒性受到几个深层自动编码器设置问题的阻碍，其中包括权重初始化，层的宽度和数量或epoch的数量。为了减轻这种超参数设置对聚类性能的影响，我们提出了一种新的模型，该模型在集成学习框架中结合了谱聚类和深度自动编码器的优势。在各种基准数据集上的广泛实验证明了我们的方法与最先进的深度聚类方法相比的潜力和鲁棒性。
2019-06-12 cs.LG stat.ML
Fuzzy K-Means Clustering without Cluster Centroids
School of Telecommunications Engineering, Xidian University（西安电子科技大学电信工程学院）
本文提出一种无聚类中心的模糊K-Means聚类算法，仅通过距离矩阵计算隶属度，消除对初始中心的依赖并增强鲁棒性，在真实数据集上验证了有效性。
2024-11-07 cs.LG
Autoencoder-based time series clustering with energy applications
EDF R&D（法国电力集团研发部）
由于数据的特定性质，时间序列聚类是一项具有挑战性的任务。经典的方法并没有很好地执行，需要通过一个新的距离测量或数据转换进行调整。在本文中，我们研究了卷积自动编码器和k-medoids算法的组合来执行时间序列聚类。卷积自动编码器允许提取有意义的特征并减少数据的维度，从而改善后续聚类。使用模拟和能源相关的数据来验证该方法，实验结果表明，聚类是鲁棒的离群值，从而导致更精细的聚类比标准方法。
2020-02-10 cs.LG stat.ML
The Core in Max-Loss Non-Centroid Clustering Can Be Empty
TU Clausthal（图鲁斯大学）；National University of Singapore（新加坡国立大学）
该研究证明在最大损失目标下非质心聚类中核心可能为空，并给出了相关理论界和构造。
2025-11-24 cs.AI cs.GT cs.LG
Deep Unsupervised Clustering Using Mixture of Autoencoders
University of Michigan（密歇根大学）；Technicolor（特艺集团）；Adobe（Adobe公司）
无监督聚类是机器学习中最基本的挑战之一。一个流行的假设是，数据是从一个低维非线性流形的联合产生的，因此聚类的方法是识别和分离这些流形。在本文中，我们提出了一种新的方法来解决这个问题，通过使用混合的自动编码器。我们的模型由两部分组成：1）一个自动编码器的集合，其中每个自动编码器学习一组相似对象的底层流形，以及2）混合分配神经网络，它将来自自动编码器的级联潜在向量作为输入并推断集群上的分布。通过联合优化这两个部分，我们同时将数据分配给集群并学习每个集群的底层流形。
2017-12-26 cs.LG stat.ML
Local Connectivity in Centroid Clustering
Queen’s University Belfast（贝尔法斯特女王大学）
聚类是无监督学习中的一项基本任务，其目标是将数据集分组为相似对象的聚类。最近有兴趣嵌入规范性的考虑，围绕聚类公式的公平性。在本文中，我们提出了“本地连接”作为一个关键因素，在评估成员沙漠质心聚类。我们使用本地连接来表示对象的本地邻域对支持其对所讨论的集群的成员资格所提供的支持。我们激励需要考虑本地连接的对象在集群分配，并提供方法来量化本地连接在一个给定的聚类。然后，我们利用基于密度的聚类的概念，并设计LOFKM，一种聚类方法，旨在加深本地连接的聚类输出，同时保持在质心聚类的框架内。通过对真实数据集的实证评估，我们表明，LOFKM实现了显着的改善，在本地连接在合理的成本聚类质量，说明该方法的有效性。
2020-10-11 cs.AI cs.LG
Khatri-Rao Clustering for Data Summarization
Scuola Normale Superiore（诺奖研究院）；Aalto University（阿尔托大学）；KTH Royal Institute of Technology（皇家理工学院）
Khatri-Rao聚类方法通过改进质心聚类，实现更简洁准确的数据摘要。
2026-03-10 cs.LG stat.ML
A Hybrid Algorithm Based Robust Big Data Clustering for Solving Unhealthy Initialization, Dynamic Centroid Selection and Empty clustering Problems with Analysis
World University of Bangladesh (WUB)（孟加拉世界大学）
大数据是大量的结构化和非结构化数据，这些数据太大，而且很难使用传统技术进行处理。聚类算法已经发展成为一种强大的学习工具，可以准确地分析现代应用程序产生的数据量。数据采掘中的聚类是根据对象的特征对特定对象集进行分组。聚类的主要目的是根据相似性和特征将数据分类到簇中，使得对象在对应时被分组到相同的簇中。到目前为止，K-MEANS是在大范围的区域中连接的最佳利用的计算，以识别聚类分离比聚集分离之间的分离大的聚集。我们开发的算法与K-MEANS一起工作，在大数据聚类过程中进行高质量的聚类。我们提出的算法EG K-MEANS：扩展生成K-MEANS主要解决了K-MEANS的三个问题：不健康的初始化、动态重心选择和空聚类。它保证了防止不健康的初始化，动态质心选择和空聚类问题的最佳方法，以获得高质量的聚类。
2020-02-21 cs.AI cs.LG
A Centroid Auto-Fused Hierarchical Fuzzy c-Means Clustering
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
与k-means和高斯混合模型（GMM）一样，具有软划分的模糊c-均值（FCM）也成为一种流行的聚类算法，并且仍然被广泛研究。然而，这些算法及其变种仍然遭受一些困难，如确定的最佳数量的集群，这是一个关键因素的聚类质量。克服这一困难的一个常见方法是使用试验和验证策略，即，遍历从大整数$\sqrt{n}$到2的每一个整数，直到找到某个聚类有效性指标的峰值所对应的最优数。但是，它几乎是不可能的，自然地构建一个自适应凝聚的层次聚类结构，使用的尝试和验证策略。甚至可能的是，现有的不同有效性指标也导致不同数量的聚类。为了有效地缓解问题，而凸聚类的动机，在本文中，我们提出了一个质心自动融合层次模糊c-均值方法（CAF-HFCM）的优化过程可以自动凝聚，形成一个集群层次，更重要的是，产生一个最佳的集群数量，而不诉诸任何有效性指标。虽然最近提出的鲁棒学习模糊c均值算法（RL-FCM）也可以自动获得最佳聚类数，而不需要任何有效性指标，但涉及到的3个超参数需要进行昂贵的调整，相反，我们的CAF-HFCM只涉及到1个超参数，使得相应的调整相对容易，更具操作性。此外，作为我们的优化目标的一个额外的好处，CAF-HFCM有效地降低了聚类性能的初始化的敏感性。此外，我们提出的CAF-HFCM方法能够直接扩展到各种变体的FCM。
2020-04-27 cs.LG stat.ML
Deep Clustering Based on a Mixture of Autoencoders
Bar-Ilan University（巴伊兰大学）
在本文中，我们提出了一种基于深度自动编码器混合的深度自动编码器混合聚类（DAMIC）算法，其中每个聚类由一个自动编码器表示。聚类网络将数据转换到另一个空间，然后选择其中一个聚类。接下来，使用与该聚类相关联的自动编码器来重建数据点。聚类算法联合学习非线性数据表示和自编码器集合。通过最小化混合自编码器网络的重构损失来寻找最优聚类。与其他深度聚类算法不同，不需要正则化项来避免数据崩溃到单个点。我们对图像和文本语料库的实验评估表明，国家的最先进的方法显着改善。
2019-03-27 cs.AI cs.LG stat.ML
The Laplacian K-modes algorithm for clustering
University of California, Merced（加州大学默塞德分校）
除了找到有意义的聚类之外，基于质心的聚类算法（如K-means或mean-shift）应该在理想情况下找到输入空间中的有效模式的质心，代表其聚类中的数据。这对于具有非凸或流形结构的数据（如图像或文本）具有挑战性。我们介绍了一种新的算法，拉普拉斯K模式，它自然地结合了三个强大的思想在聚类：明确使用的分配变量（如在K-均值）;估计的聚类中心，这是模式的每个集群的密度估计（如在均值漂移）;和正则化效果的图形拉普拉斯，鼓励类似的分配附近的点（如在谱聚类）。该优化算法交替的分配步骤，这是一个凸二次规划，和一个均值漂移步骤，它为每个集群质心分离。该算法为每个聚类找到有意义的密度估计，即使在具有挑战性的问题中，聚类具有流形结构，高度非凸或高维。它还提供了有效模式的质心，真正代表其聚类（与K均值不同），以及预测新点软分配的样本外映射。
2014-06-16 cs.LG stat.ME stat.ML
Deep Autoencoder-based Fuzzy C-Means for Topic Detection
Universitas Indonesia（印度尼西亚大学）
主题检测是从文本数据集合中确定主题的过程。主题检测方法之一是基于聚类的方法，其假设质心是主题。聚类方法的优点是可以处理具有否定表示的数据。因此，聚类方法允许与更广泛的表示学习方法相结合。在本文中，我们采用深度学习通过使用深度自动编码器和模糊c均值（称为基于深度自动编码器的模糊c均值（DFCM））进行主题检测。自动编码器的编码器执行低维表示学习。模糊c均值对低维表示进行分组以识别质心。自动编码器的解码器将质心转换回原始表示，以解释为主题。我们的模拟表明，DFCM提高了基于特征空间的模糊c均值（EFCM）的一致性得分，并且与领先的标准方法，即，非负矩阵分解（NMF）或潜在狄利克雷分配（LDA）。
2021-02-02 cs.CL cs.IR cs.LG
Sparse Centroid-Encoder: A Nonlinear Model for Feature Selection
Colorado State University（科罗拉多州立大学）
自编码器作为一种非线性降维工具被广泛应用。虽然自动编码器不利用标签信息，但质心编码器（CE）\cite{ghosh2022supervised}在其学习过程中使用类标签。在这项研究中，我们提出了一个稀疏优化使用质心编码器架构，以确定一个最小的功能，区分两个或两个以上的类。由此产生的算法，稀疏质心编码器（SCE），提取歧视性的功能组使用稀疏诱导$\ell_1$ -范数，同时映射一个点到它的类质心。SCE的一个关键属性是它可以从多模态数据集中提取信息特征，即，数据集的类似乎有多个集群。该算法被应用到各种各样的现实世界的数据集，包括单细胞数据，高维生物数据，图像数据，语音数据，和加速度计传感器数据。我们将我们的方法与各种最先进的特征选择技术进行了比较，包括监督式混凝土自动编码器（SCAE），特征选择网络（FsNet），深度特征选择（DFS），随机门（STG）和LassoNet。我们的经验表明，SCE特征在隔离测试集中通常比其他方法产生更好的分类准确性。
2022-06-28 cs.CV cs.LG
On the symmetrical Kullback-Leibler Jeffreys centroids
Sony Computer Science Laboratories, Inc.（索尼计算机科学实验室）
由于词袋建模范式的成功，聚类直方图已成为现代信息处理的重要组成部分。聚类直方图可以使用著名的$k$ -均值质心算法来执行。从应用的角度来看，通常需要处理对称距离。在这封信中，我们考虑的Jeffreys分歧，对称的Kullback-Leibler分歧，并调查Jeffreys质心的计算。我们首先证明了杰弗里斯质心可以用朗伯$W$函数的正直方图解析表示。然后，我们将展示如何获得一个快速保证近似处理时，频率直方图。最后，我们总结了$k$ -均值直方图聚类的一些评论。
2014-01-22 cs.IT cs.LG math.IT
Fast Spectral Clustering Using Autoencoders and Landmarks
University of Waterloo（滑铁卢大学）
在本文中，我们介绍了一种算法进行谱聚类效率。谱聚类是一种功能强大的聚类算法，但由于特征分解而具有高计算复杂性。在这项工作中，我们首先建立数据集对应图的邻接矩阵。为了构建这个矩阵，我们只考虑有限数量的点，称为地标，并计算所有数据点与地标的相似性。然后，我们给出了图的拉普拉斯矩阵的定义，使我们能够使用深度自动编码器有效地执行本征分解。本征分解算法的总体复杂度为$O(np)$，其中$n$是数据点的数量，$p$是界标的数量。最后，通过不同的实验对算法的性能进行了评估.
2017-04-07 cs.LG stat.ML
Wasserstein $K$-means for clustering probability distributions
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
聚类是一种重要的探索性数据分析技术，它根据对象的相似性对对象进行分组。广泛使用的$K$均值聚类方法依赖于距离的概念，将数据划分为较少数量的组。在欧几里得空间中，基于质心和基于距离的$K$均值公式是等价的。在现代机器学习应用中，数据通常以概率分布的形式出现，处理度量值数据的自然概括是使用最佳传输度量。由于Wasserstein空间的非负Alexandrov曲率，重心遭受正则性和非鲁棒性问题。Wasserstein重心的特殊行为可能使基于质心的公式无法表示聚类内的数据点，而更直接的基于距离的$K$ -均值方法及其半定规划（SDP）松弛能够恢复真实的聚类标签。在聚类高斯分布的特殊情况下，我们表明，SDP放松Wasserstein $K$ -手段，可以实现精确的恢复给定的集群下分离的$2$ -Wasserstein度量。我们的模拟和真实数据的例子也表明，基于距离的$K$ -手段，可以实现更好的分类性能比标准的基于质心的$K$ -手段聚类概率分布和图像。
2022-10-12 cs.LG stat.ML
Proportional Fairness in Non-Centroid Clustering
Aarhus University（奥胡斯大学）；Harvard University（哈佛大学）；University of Toronto（多伦多大学）
本研究将比例公平聚类框架拓展至非质心聚类场景，调整核心与FJR两种公平准则，设计相关算法实现FJR的精确满足与常数近似，并验证GreedyCapture算法在真实数据上兼具良好公平性与小幅聚类目标损失。
2024-10-30 cs.AI cs.GT cs.LG
Mixture-of-Experts Variational Autoencoder for Clustering and Generating from Similarity-Based Representations on Single Cell Data
ETH Zürich（苏黎世联邦理工学院）；Life Science Graduate School Zurich（苏黎世生命科学研究生院）；Swiss Institute of Bioinformatics（瑞士生物信息学研究所）；University of Tübingen（图宾根大学）
聚类高维数据，如图像或生物测量，是一个长期存在的问题，并已被广泛研究。最近，深度聚类由于其在适应复杂数据的特定特性方面的灵活性而受到欢迎。本文介绍了一种新的生成式聚类模型MoE-Sim-VAE（混合专家模型Similarity变分自编码器），该模型能够学习高维数据的多模态分布，并利用这些分布高效地生成真实数据。MoE-Sim-VAE基于变分自编码器（VAE），其中解码器由混合专家模型（MoE）架构组成。这种特定的架构允许通过专家自动学习数据的各种模式。此外，我们鼓励我们模型的低维潜在表示遵循高斯混合分布，并准确表示数据点之间的相似性。我们评估了我们的模型在MNIST基准数据集上的性能，并挑战了从单细胞RNA测序测量中聚类小鼠器官和从数百个不同数据集上的质谱仪（CyTOF）测量中定义细胞亚群的现实任务。与基线以及竞争对手的方法相比，MoE-Sim-VAE在所有这些任务上都表现出卓越的聚类性能。
2020-12-18 cs.LG stat.ML
Lessons from the Clustering Analysis of a Search Space: A Centroid-based Approach to Initializing NAS
German Aerospace Center (DLR)（德国航空航天中心）；Technical University of Munich（慕尼黑工业大学）
神经结构搜索（NAS）研究中的大量工作一直致力于算法开发，旨在设计更有效，成本更低的方法。然而，这些技术的初始化的调查仍然稀缺，目前大多数NAS方法依赖于随机初始化过程，因为获取信息之前的搜索是昂贵的。然而，最近可用的NAS基准测试已经实现了低计算资源原型。在这项研究中，我们建议加速NAS算法使用数据驱动的初始化技术，利用NAS基准的可用性。特别是，我们提出了一个两步方法。首先，执行搜索空间的校准聚类分析。其次，提取质心并用于初始化NAS算法。我们使用老化进化（一种进化算法）在NAS-bench-101上测试了我们的提议。结果表明，与随机初始化相比，该算法收敛速度更快，最终解的性能更好。
2021-08-20 cs.LG
Transferable Deep Clustering Model
Emory University（埃默里大学）
针对现有深度聚类方法固定质心难以跨域泛化的问题，提出带注意力模块的可迁移深度聚类模型，可自适应调整质心，理论上优于经典聚类算法，实验验证其能提升目标域性能并降低计算成本。
2023-10-07 cs.LG
Breaking the Reclustering Barrier in Centroid-based Deep Clustering
University of Vienna（维也纳大学）；Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）
本文揭示了基于质心的深度聚类中因周期性重聚类导致的性能饱和现象（重聚类屏障），并提出算法BRB，通过避免对初始聚类的过度承诺并持续适应新目标来打破该屏障，显著提升了多种聚类基准上的性能。
2025-03-02 cs.AI cs.LG
Adversarial Deep Embedded Clustering: on a better trade-off between Feature Randomness and Feature Drift
University of Quebec at Montreal（蒙特利尔魁北克大学）；University of Windsor（温莎大学）
近年来，使用深度自动编码器的聚类已经得到了彻底的研究。目前的方法依赖于同时学习嵌入式特征和聚类潜在空间中的数据点。尽管许多深度聚类方法在几个高语义数据集上取得了良好的结果，但这些模型的一个关键弱点被忽视了。在缺乏具体监督信号的情况下，嵌入式聚类目标函数可能会通过从不可靠的伪标签中学习来扭曲潜在空间。因此，网络可以学习非代表性的特征，这反过来又破坏了区分能力，产生更差的伪标签。为了减轻随机判别特征的影响，现代基于自动编码器的聚类论文提出使用重建损失进行预训练，并在聚类阶段作为正则化器。然而，聚类-重构折衷可能导致\textit{Feature Drift}现象。在本文中，我们提出了ADEC（对抗深度嵌入式聚类）一种新的基于自动编码器的聚类模型，它解决了一个双重问题，即\textit{Feature Randomness}和\textit{Feature Drift}，使用对抗训练。我们经验证明了我们的模型在处理这些问题上使用基准真实数据集的适用性。实验结果验证了我们的模型优于最先进的自动编码器为基础的聚类方法。
2019-09-26 cs.LG stat.ML
Fourier Transform Approach to Machine Learning II: Fourier Clustering
我们提出了一个基于傅立叶的方法优化的几个聚类算法。在数学上，集群数据可以通过由狄拉克混合分布表示的密度函数来描述。密度函数可以通过应用傅立叶变换和高斯滤波器来平滑。高斯滤波器的最佳标准偏差的确定将通过使用与平滑和原始密度函数之间的相关性有关的收敛准则来完成。原则上，最优平滑密度函数具有局部最大值，其对应于聚类中心。因此，通过检测平滑密度函数的峰值，简化了寻找聚类质心的复杂任务。一个多滑动窗口程序被用来检测峰值。该算法的显着的准确性表明，它的能力作为一个可靠的通用方法，提高聚类性能，其全局优化，也消除了许多聚类方法中的初始化问题。
2019-09-22 cs.LG stat.ML
Structural Deep Clustering Network
Beijing University of Posts and Telecommunications（北京邮电大学）；Tencent（腾讯）；Tsinghua University（清华大学）
聚类是数据分析中的一项基本任务。最近，主要从深度学习方法中获得灵感的深度聚类实现了最先进的性能，并引起了相当大的关注。当前的深度聚类方法通常借助于深度学习的强大表示能力来提升聚类结果，例如，自动编码器，这表明学习有效的聚类表示是一个至关重要的要求。深度聚类方法的优势在于从数据本身提取有用的表示，而不是数据的结构，这在表示学习中很少受到关注。基于图卷积网络（GCN）在编码图结构方面取得的巨大成功，提出了一种结构化深度聚类网络（SDCN），将结构信息集成到深度聚类中。具体来说，我们设计了一个传递算子来将自动编码器学习到的表示传递到相应的GCN层，并设计了一个双重自监督机制来统一这两种不同的深度神经架构，并指导整个模型的更新。通过这种方式，从低阶到高阶的多种数据结构自然地与自动编码器学习的多种表示相结合。此外，我们从理论上分析了交付运营商，即，通过传递算子，GCN将自动编码器特定的表示改进为高阶图正则化约束，并且自动编码器有助于减轻GCN中的过度平滑问题。通过全面的实验，我们证明了我们提出的模型可以始终比最先进的技术表现得更好。
2020-02-12 cs.LG stat.ML
k-Means SubClustering: A Differentially Private Algorithm with Improved Clustering Quality
Indian Institute of Technology Gandhinagar, India（印度理工学院甘地纳加尔分校）
在当今数据驱动的世界中，信息的敏感性一直是一个重大问题。通过这些数据和有关该人背景的其他信息，人们可以很容易地推断出个人的私人数据。许多差分隐私迭代算法已被提出在交互式设置，以保护个人的隐私，从这些推理攻击。现有的方法适应的方法来计算差分隐私（DP）的质心迭代Llyod的算法和扰动的质心与各种DP机制。这些DP机制不能保证差分私有迭代算法的收敛性，并降低了集群的质量。因此，在这项工作中，我们进一步扩展了以前的工作“差分私人k均值聚类与收敛保证”，将其作为我们的基线。我们的方法的新颖之处是子聚类的集群，然后选择质心，具有更高的概率在未来的质心的方向移动。在每一个劳埃德的步骤中，使用指数DP机制将噪声注入质心。实验结果表明，我们的方法优于当前最先进的方法，即，基线算法，在聚类质量方面，同时保持相同的差分隐私要求。对于Wine和Breast_Cancer数据集，聚类质量分别比基线显著提高了4.13倍和2.83倍。
2023-01-07 cs.LG
Deep Spectral Clustering using Dual Autoencoder Network
Xidian University（西安电子科技大学）；Southern University of Science and Technology（南方科技大学）；Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）
聚类方法最近在学习和视觉领域受到越来越多的关注。深度聚类将嵌入和聚类结合在一起，以获得最佳嵌入子空间进行聚类，与传统的聚类方法相比，它可以更有效。在本文中，我们提出了一个联合学习框架的判别嵌入和谱聚类。我们首先设计了一个双自动编码器网络，它强制执行潜在表示及其噪声版本的重建约束，将输入嵌入到潜在空间中进行聚类。因此，学习的潜在表示可以对噪声更鲁棒。然后，利用互信息估计来提供来自输入的更多辨别性信息。此外，一个深谱聚类方法被应用到嵌入到特征空间的潜在表示，并随后聚类它们，它可以充分利用输入之间的关系，以达到最佳的聚类结果。基准数据集上的实验结果表明，我们的方法可以显着优于国家的最先进的聚类方法。
2019-04-30 cs.CV cs.LG stat.ML
Masked AutoEncoder for Graph Clustering without Pre-defined Cluster Number k
针对图自编码器聚类泛化差且簇数难定的问题，提出GCMA框架，利用图掩码融合编码与改进密度聚类第二解码器端到端输出簇数并提升泛化。
2024-01-09 cs.LG
Dissimilarity Mixture Autoencoder for Deep Clustering
Universidad Nacional de Colombia（哥伦比亚国立大学）
相异性混合自动编码器（DMAE）是一种用于基于特征的聚类的神经网络模型，它包含灵活的相异性函数，可以集成到任何类型的深度学习架构中。它在内部表示一个相异性混合模型（DMM），该模型通过将概率重新解释为神经网络表示，将K均值、高斯混合模型或Bregman聚类等经典方法扩展到任何凸和可微相异性函数。DMAE可以与深度学习架构集成到端到端模型中，允许同时估计聚类和神经网络的参数。在图像和文本聚类基准数据集上进行了实验评估，结果表明DMAE在无监督分类精度和归一化互信息方面具有竞争力。DMAE实现的源代码可在https://github.com/juselara1/dmae上公开获得
2021-07-15 cs.CV cs.LG stat.ML
When Fireflies Cluster; Enhancing Automatic Clustering via Centroid-Guided Firefly Optimization
Department of Computer Science, Faculty of Applied Sciences, University of Sri Jayewardenepura（Sri Lanka 瑞籍耶文纳普拉大学计算机科学系，应用科学学院）；Faculty of Engineering and Natural Sciences,Tampere University（蒂帕雷大学工程与自然科学学院）；Department of Mathematics and Statistics, University of Turku（图尔库大学数学与统计学系）
本文提出了一种改进的萤火虫算法用于数据聚类，解决了传统方法如K均值在处理非均匀聚类形状、密度以及需要预先定义聚类数的局限性。该算法引入了重心移动策略和多目标适应度函数，平衡了紧凑性、分离性和新的TSP基于的导航惩罚。它能够自动估计最佳聚类数并动态调整聚类边界。在机器人传感器网络中的应用展示了其实际价值，实验表明其聚类质量优于K均值，且减少集群内路径距离。这些结果证实了该算法在复杂空间聚类任务中的鲁棒性，未来可能扩展到更高维和适应性场景。
2026-05-18 cs.AI cs.LG cs.NE
Streaming Adaptive Nonparametric Variational Autoencoder
Northeastern University（东北大学）
我们开发了一种数据驱动的方法来同时对流数据进行聚类和端到端特征学习，该方法可以自适应地检测新兴数据中的新簇。我们的方法，自适应非参数变分自动编码器（AdapVAE），通过贝叶斯非参数（BNP）建模框架与深度神经网络（DNN）进行特征学习来学习聚类成员。我们开发了一个联合在线变分推断算法，通过迭代优化证据下限（ELBO），同时学习特征表示和聚类分配。我们解决了灾难性的遗忘\citep{kirkpatrick2017overcoming}的挑战与流数据采用生成样本从训练的AdapVAE使用以前的数据，这避免了存储和重用过去的数据的需要。我们展示了我们的模型的优点，包括自适应新的聚类检测，而不丢弃从过去的数据，高质量的样本生成和可比的聚类性能的图像和文本语料库基准数据集上的端到端的批处理模式聚类方法学习的有用信息。
2019-10-11 cs.LG stat.ML
A Novel Theoretical Analysis for Clustering Heteroscedastic Gaussian Data without Knowledge of the Number of Clusters
Lab-STICC, IMT Atlantique（Lab-STICC，IMT Atlantique）
本文提出一种新的成本函数用于估计聚类中心，证明在测量向量数量和聚类中心距离足够大时，固定点即为聚类中心，并引入Wald核进行聚类，提出CENTRE-X算法在复杂度和性能上优于传统算法。
2026-04-02 cs.LG stat.ML
An Introductory Survey to Autoencoder-based Deep Clustering -- Sandboxes for Combining Clustering with Deep Learning
Aalto University, University of Helsinki（阿alto大学，赫尔辛基大学）；Faculty of Computer Science, University of Vienna（计算机科学学院，维也纳大学）
本综述介绍基于自编码器的深度聚类基础算法，利用其无监督低维表示能力缓解维度灾难，并作为现代聚类方法的核心构建模块。
2025-05-26 cs.AI cs.LG
Dirichlet Process-based Robust Clustering using the Median-of-Means Estimator
Duke University（杜克大学）；Georgia Institute of Technology（佐治亚理工学院）；Indian Statistical Institute（印度统计研究所）
本文提出一种结合基于模型与基于质心方法优势的自动聚类技术，利用 Median-of-Means 估计器减轻噪声影响并自动估计聚类数量，在理论和实验上均优于现有算法。
2025-01-29 cs.LG stat.ME stat.ML
Deep clustering with fusion autoencoder
School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院）
近年来，将深度学习技术用于聚类研究中的表示学习引起了广泛的关注，产生了一种新的聚类范式，即深度聚类（DC）。通常，DC模型利用自动编码器来学习内在特征，从而促进聚类过程。目前，一种称为变分自编码器（VAE）的生成模型在DC研究中得到了广泛的认可。然而，普通的VAE不足以感知全面的潜在特征，导致聚类性能下降。在本文中，提出了一种新的DC方法来解决这个问题。具体来说，生成对抗网络和VAE被合并到一个新的自动编码器中，称为融合自动编码器（FAE），用于识别更有区别的表示，这有利于下游的聚类任务。此外，FAE实现了深度残差网络架构，进一步增强了表示学习能力。最后，FAE的潜在空间被转换成由深密集神经网络形成的嵌入空间，用于将不同的聚类彼此拉开并折叠各个聚类内的数据点。在多个图像数据集上进行的实验证明了所提出的DC模型对基线方法的有效性。
2022-01-14 cs.LG
Kempe Swap K-Means: A Scalable Near-Optimal Solution for Semi-Supervised Clustering
Georgia Institute of Technology（佐治亚理工学院）
本文提出Kempe Swap K-Means算法，通过双重迭代过程在约束空间中优化聚类，结合可控扰动提升全局搜索能力，实现高效且可扩展的半监督聚类解决方案。
2026-03-28 cs.LG
Fast Topological Clustering with Wasserstein Distance
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；University of Iowa（爱荷华大学）
许多现实世界中的网络所表现出的拓扑模式激发了基于拓扑的网络相似性评估方法的发展。然而，提取拓扑结构是困难的，特别是对于大型和密集的网络，其节点度范围超过几个数量级。在本文中，我们提出了一种新的和计算上实用的拓扑聚类方法，集群复杂的网络与复杂的拓扑结构，从持久的同源性和最佳运输的原则性理论。这种网络通过基于质心的聚类策略聚合成簇，基于它们的拓扑结构和几何结构，保持不同网络中节点之间的对应关系。拓扑邻近和质心的概念，其特征在于使用一种新的和有效的方法来计算Wasserstein距离和重心的持久性条形码与连接组件和周期。所提出的方法被证明是有效的，使用模拟网络和测量功能的大脑网络。
2022-03-14 cs.LG stat.ML
Structured Inverted-File k-Means Clustering for High-Dimensional Sparse Data
NTT Communication Science Laboratories（NTT通信科学实验室）；Kanagawa University（神奈川大学）
针对大规模高维稀疏数据集，提出了一种结构友好的k均值聚类算法SIVF。算法在时间上的效率通常由诸如相似性计算之类的高成本操作的数量来衡量。然而，在实践中，它在很大程度上取决于该算法如何适应的计算机系统的架构，它是executedon.We建议SIVF采用不变的基于质心对的过滤器（ICP），以减少数据对象和质心的所有集群之间的相似性计算的数量。为了最大限度地提高ICP性能，SIVF利用一个质心集的一个倒置的文件，结构，以减少管道的危险。我们证明在我们的实验中，真正的大规模文档数据集，SIVF操作速度更高，内存消耗比现有的算法。我们的性能分析表明，SIVF实现了更高的速度，通过抑制性能下降的因素，而不是更少的相似性计算的高速缓存未命中和分支误预测的数量。
2021-03-30 cs.AR cs.LG stat.ML
Multi-Domain Clustering via Measure Quantization
Instituto Federal de Educação, Ciência e Tecnologia do Ceará（塞阿拉联邦教育与科学技术学院）；Federal University of Ceara（塞阿拉联邦大学）；Sigma Nova Science（Sigma Nova Science公司）
提出基于测度量化的多域聚类框架，通过最小化概率度量学习共享原型，结合最优传输分配，在小批量优化下高效且优于基线。
2026-09-21 cs.LG stat.ML
Conformation Clustering of Long MD Protein Dynamics with an Adversarial Autoencoder
The Johns Hopkins University（约翰斯·霍普金斯大学）
近年来，计算机硬件的发展极大地促进了原子级分子动力学模拟的发展。单个GPU连接的集群能够在合理的时间内产生微秒长度的轨迹。多个蛋白质的状态和大量的微观状态与折叠和功能的蛋白质可以观察到的构象采样的轨迹。然而，聚类这些构象是识别蛋白质状态，评估转换速率和理解蛋白质行为所必需的。在本文中，我们提出了一种新的数据驱动的生成式构象聚类方法的基础上的对抗性自动编码器（AAE），并提供了相关的软件实现Cong。使用从D.E. Shaw Research Group.所提出的聚类算法确定了许多折叠过程中的显着特点，通过分组的构象，共享不容易识别的轨迹中的共同特征。
2018-05-31 cs.LG q-bio.QM stat.ML
Normalization based K means Clustering Algorithm
Bhagwan Parshuram Institute of Technology（帕舒拉姆理工学院）
K-means是一种有效的聚类技术，用于根据聚类的初始质心将相似的数据分成组。本文提出了一种基于归一化的K-means聚类算法（N-K means）。提出的N-K均值聚类算法在聚类之前对可用数据进行归一化，并且所提出的方法基于权重计算初始质心。实验结果表明，提出的N-K均值聚类算法在复杂度和整体性能方面优于现有的K-means聚类算法。
2015-03-03 cs.DB cs.LG
Deep Unsupervised Clustering with Gaussian Mixture Variational Autoencoders
Imperial College London（帝国理工学院）
我们研究了变分自编码器模型（VAE）的一个变体，该模型以高斯混合作为先验分布，目标是通过深度生成模型执行无监督聚类。我们观察到，已知的问题，已被证明出现在定期VAE也体现在我们的模型，并导致集群退化。我们表明，一个启发式称为最小信息约束，已被证明可以减轻这种影响VAE也可以应用于提高无监督聚类性能与我们的模型。此外，我们分析了这种启发式的效果，并提供了直观的各种过程的可视化的帮助。最后，我们证明了我们的模型在合成数据，MNIST和SVHN上的性能，表明所获得的聚类是独特的，可解释的，并导致在无监督聚类上达到与最先进的结果竞争的性能。
2017-01-13 cs.LG cs.NE stat.ML
Disentangling to Cluster: Gaussian Mixture Variational Ladder Autoencoders
University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）
在聚类中，我们通常为每个数据点输出一个聚类变量。然而，情况并不一定是只有一种方法可以将给定的数据集划分为集群组件。例如，人们可以根据颜色或类型对对象进行聚类。不同的属性形成了一个层次结构，我们可以希望在其中任何一个中进行集群。通过将一些数据集的学习潜在表示分解为不同属性的不同层，我们可以在这些潜在空间中进行聚类。我们称之为“解纠缠聚类”。扩展变分梯形自动编码器（Zhao等人，2017），我们提出了一种聚类算法，VLAC，在SVHN的测试集上，它在数字身份的聚类精度上优于高斯混合DGM。我们还展示了学习集群联合在许多层的层次结构的潜在变量的数据，并显示组件明智的生成从这个层次模型。
2019-12-04 cs.LG stat.ML
Breaking Privacy in Federated Clustering: Perfect Input Reconstruction via Temporal Correlations
本文揭示联邦聚类中质心披露存在新的时间相关性泄漏机制，并提出轨迹感知重建（TAR）攻击，首次证明可通过时间分配信息与代数分析完美恢复原始输入，揭示隐私与效率的根本矛盾。
2025-11-10 cs.LG
Clustering Time Series Data through Autoencoder-based Deep Learning Models
Georgia Institute of Technology（佐治亚理工学院）；Texas Tech University（得克萨斯理工大学）；University of Debrecen（德布勒森大学）
机器学习，特别是深度学习算法是数据分析的新兴方法。这些技术已经将传统的基于数据采掘的分析从根本上转变为基于学习的模型，在该模型中，现有的数据集连同它们的聚类标签（即，训练集）被学习以构建监督学习模型并预测未见过数据的聚类标签（即，测试集）。特别地，深度学习技术能够捕获和学习给定数据集中的隐藏特征，从而为聚类和标记问题构建更准确的预测模型。然而，主要问题是时间序列数据通常是未标记的，因此基于监督学习的深度学习算法不能直接适用于解决这些特殊和复杂类型数据集的聚类问题。为了解决这个问题，本文介绍了一个两阶段的方法聚类时间序列数据。首先，引入一种新的技术来利用这些特性（例如，波动性），以便创建标签，从而能够将问题从无监督学习转换为监督学习。其次，构建基于自动编码器的深度学习模型来学习和建模时间序列数据的已知和隐藏特征以及它们创建的标签，以预测看不见的时间序列数据的标签。本文报告了一个案例研究，其中金融和股票的时间序列数据选择70个股票指数聚类成不同的群体，使用介绍的两阶段程序。实验结果表明，该方法对未知时间序列数据的聚类和标签预测准确率达到87.5%.
2020-04-11 cs.LG stat.ML
Towards a connection between the capacitated vehicle routing problem and the constrained centroid-based clustering
Polytechnique Montréal（蒙特利尔理工学院）；GERAD；Université du Québec à Rimouski（魁北克大学里穆斯基分校）
本文探讨带容量约束的车辆路径问题（CVRP）与带约束的基于质心聚类（CCBC）的联系，提出一种三阶段“先聚类后路径规划”框架，通过增强聚类、TSP求解及路径切割重连优化，在基准实例上实现近似最优且高效求解。
2024-03-20 cs.LG math.OC
The K-modes algorithm for clustering
University of California, Merced（加州大学默塞德分校）
存在许多估计聚类中心的聚类算法，例如K-means，K-medoids或mean-shift，但似乎不存在通过返回恰好K个有意义的模式来聚类数据的算法。我们提出了一个自然的K-模式的目标函数的定义，结合密度和集群分配的概念。该算法在极大尺度和极小尺度的极限下分别成为K-means和K-medoids。在计算上，它比K-means稍慢，但比mean-shift或K-medoids快得多。与K-means不同，它能够找到有效模式的质心，真正代表一个集群，即使是非凸集群，并且对离群值和集群规模和数量的错误指定具有鲁棒性。
2013-04-24 cs.LG stat.ME stat.ML
BasisVAE: Translation-invariant feature-level clustering with Variational Autoencoders
University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）；University of Birmingham（伯明翰大学）；University of Manchester（曼彻斯特大学）
变分自动编码器（VAE）为非线性降维提供了一个灵活且可扩展的框架。然而，在应用领域，如基因组学的数据集通常是表格和高维的，黑盒方法降维不能提供足够的见解。常见的数据分析工作流还使用聚类技术来识别相似特征的组。这通常会导致一个两阶段的过程，但是，这将是可取的，以建立一个联合建模框架，同时降维和聚类的功能。在本文中，我们建议通过BasisVAE来实现这一点：VAE和概率聚类先验的组合，它让我们学习一个独热基函数表示作为解码器网络的一部分。此外，对于不是所有特征都对齐的情况，我们开发了一个扩展来处理双线性不变基函数。我们展示了如何崩溃的变分推断计划导致可扩展的和有效的推理BasisVAE，演示各种玩具的例子，以及单细胞基因表达数据。
2020-03-06 cs.LG q-bio.GN stat.ML
High-Dimensional BWDM: A Robust Nonparametric Clustering Validation Index for Large-Scale Data
Helwan University（赫勒万大学）；University of Birmingham（伯明翰大学）；Menoufia University（梅努菲亚大学）；University of Bristol（布里斯托大学）
针对高维和受污染数据下传统聚类有效性指标失效的问题，提出HD-BWDM指标，结合随机投影、PCA与修剪聚类，理论保证一致性，实验证明稳健高效。
2025-10-15 cs.LG stat.ML
Online Deep Clustering for Unsupervised Representation Learning
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）；A*STAR（新加坡科技研究局）
联合聚类和特征学习方法在无监督表示学习中表现出了显著的性能。然而，在特征聚类和网络参数更新之间交替的训练时间表导致视觉表示的不稳定学习。为了克服这一挑战，我们提出了在线深度聚类（ODC），它同时执行聚类和网络更新，而不是交替执行。我们的关键见解是，聚类中心应该稳步发展，保持分类器稳定更新。具体来说，我们设计并维护了两个动态存储模块，即，用于存储样本标签和特征的样本存储器，以及用于质心演化的质心存储器。我们将突然的全局聚类分解为稳定的内存更新和批量标签重新分配。该过程被集成到网络更新迭代中。通过这种方式，标签和网络并肩而不是交替发展。大量的实验表明，ODC稳定了训练过程，有效地提高了性能。代码：https://github.com/open-mmlab/OpenSelfSup.
2020-06-18 cs.CV cs.LG
Interpretable Spectral Variational AutoEncoder (ISVAE) for time series clustering
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Instituto de Investigación Sanitaria Gregorio Marañón（格雷戈里奥·马拉尼翁卫生研究所）；Evidence Based Behaviour (eB2)（循证行为（eB2））；Oxford-Man Institute of Quantitative Finance, University of Oxford（牛津大学牛津-曼氏定量金融研究所）
本研究提出ISVAE模型，通过在VAE开端引入可解释的滤波器组（FB）瓶颈，迫使模型关注输入信号的关键信息，学习可解释且可聚类的低维编码${f_0}$，并利用定制解码器处理复杂数据，在真实数据集上取得优异聚类效果。
2023-10-18 cs.LG stat.ML
Deep Clustering via Joint Convolutional Autoencoder Embedding and Relative Entropy Minimization
University of Pittsburgh（匹兹堡大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Xidian University（西安电子科技大学）；University of Sydney（悉尼大学）
图像聚类是计算机视觉最重要的应用之一，在文献中得到了广泛的研究。然而，现有的聚类方法在处理大规模、高维数据时，大多缺乏效率和可扩展性。在本文中，我们提出了一个新的聚类模型，称为DEeP嵌入正则化的聚类（DEPICT），它有效地将数据映射到一个有区别的嵌入子空间，并精确地预测聚类分配。DEPICT通常由堆叠在多层卷积自动编码器顶部的多项式逻辑回归函数组成。我们定义了一个聚类的目标函数，使用相对熵（KL发散）最小化，正则化的集群分配的频率之前。一个交替的策略，然后推导出优化的目标，通过更新参数和估计集群分配。此外，我们在自动编码器中使用重建损失函数作为数据相关的正则化项，以防止深度嵌入函数过拟合。为了从端到端优化中获益并消除逐层预训练的必要性，我们引入了一个联合学习框架来最小化统一的聚类和重建损失函数，并同时训练所有网络层。实验结果表明，DEPICT的优越性和更快的运行时间在现实世界的聚类任务，其中没有标记的数据可用于超参数调整。
2017-08-09 cs.LG
Learning Latent Superstructures in Variational Autoencoders for Deep Multidimensional Clustering
The Hong Kong University of Science and Technology（香港科技大学）；The Education University of Hong Kong（香港教育大学）
我们研究了变分自编码器的一个变体，其中在潜在特征之上存在离散潜在变量的上层结构。一般来说，我们的超结构是一个树结构的多个超级潜在的变量，它是自动学习的数据。当上层结构中只有一个潜在变量时，我们的模型简化为假设潜在特征从高斯混合模型生成的模型。我们称我们的模型为潜在树变分自编码器（LTVAE）。以前的深度学习聚类方法只产生一个数据分区，而LTVAE产生多个数据分区，每个分区由一个超级潜在变量给出。这是可取的，因为高维数据通常具有许多不同的自然方面，并且可以以多种方式进行有意义的分区。
2019-02-22 cs.LG
Truncated Gaussian-Mixture Variational AutoEncoder
Stanford University（斯坦福大学）；SRI International（SRI国际）
变分自动编码器（VAE）已成为一个强大的工具，在建模的非线性生成过程的数据从一个低维的潜在空间。最近，一些研究提出使用VAE通过使用混合模型来捕获潜在表征的多模态结构，从而进行无监督聚类。然而，这种策略是无效的，当有离群数据样本的潜在表示是毫无意义的，但污染的潜在空间中的关键主要集群的估计。这个确切的问题出现在静息态功能磁共振成像（rs-fMRI）分析的背景下，其中聚集主要功能连接模式往往受到rs-fMRI的严重噪音和许多不感兴趣的小集群（罕见的连接模式）的阻碍。在本文中，我们提出了一种新的生成过程，在该过程中，我们使用高斯混合模型的数据中的几个主要的集群，并使用一个非信息的均匀分布来捕获剩余的数据。我们将这个截断的高斯混合模型嵌入到一个变分自编码器框架中，以获得一个通用的联合聚类和离群点检测方法，称为tGM-VAE。我们证明了tGM-VAE在MNIST数据集上的适用性，并在rs-fMRI连接分析的背景下进一步验证了它。
2021-06-26 cs.LG stat.ML
