Exploring the Representational Power of Graph Autoencoder
Department of Computer Science University of Quebec at Montreal（魁北克大学蒙特利尔分校计算机科学系）；University of Quebec at Montreal（魁北克大学蒙特利尔分校）
虽然表示学习在许多图学习任务上取得了巨大的成功，但对这些嵌入所捕获的结构的理解很少。例如，我们想知道拓扑特征，如三角形计数，节点的度和其他中心性度量是否具体编码在嵌入中。此外，我们还想知道嵌入中这些结构的存在是否对下游任务（如聚类和分类）的更好性能是必要的。为了解决这些问题，我们对三类无监督图嵌入模型和七种不同的图自动编码器变体进行了广泛的实证研究。我们的研究结果表明，五个拓扑特征：度，局部聚类得分，介数中心性，特征向量中心性，三角形计数具体保留在第一层的图自动编码器，采用SUM聚合规则，在该模型保持二阶接近的条件下。我们通过揭示上述模型嵌入的拓扑特征分布的层次结构来补充这些特征存在的进一步证据。我们还表明，具有这些属性的模型可以在某些下游任务上优于其他模型，特别是当保留的功能与手头的任务相关时。最后，我们通过一个与社会影响力预测相关的测试案例研究来评估我们研究结果的适用性。
2021-06-22 cs.AI cs.LG
Deep Autoencoder-based Fuzzy C-Means for Topic Detection
Universitas Indonesia（印度尼西亚大学）
主题检测是从文本数据集合中确定主题的过程。主题检测方法之一是基于聚类的方法，其假设质心是主题。聚类方法的优点是可以处理具有否定表示的数据。因此，聚类方法允许与更广泛的表示学习方法相结合。在本文中，我们采用深度学习通过使用深度自动编码器和模糊c均值（称为基于深度自动编码器的模糊c均值（DFCM））进行主题检测。自动编码器的编码器执行低维表示学习。模糊c均值对低维表示进行分组以识别质心。自动编码器的解码器将质心转换回原始表示，以解释为主题。我们的模拟表明，DFCM提高了基于特征空间的模糊c均值（EFCM）的一致性得分，并且与领先的标准方法，即，非负矩阵分解（NMF）或潜在狄利克雷分配（LDA）。
2021-02-02 cs.CL cs.IR cs.LG
Deep Amortized Clustering
AITRICS；Kakao Corporation；University of Oxford & Deepmind（牛津大学 & Deepmind）
我们提出了一种深度摊销聚类（DAC），这是一种神经架构，它可以学习使用几次向前传递来有效地聚类数据集。DAC隐式地学习是什么构成了一个集群，如何将数据点分组到集群中，以及如何计算数据集中集群的数量。DAC是使用标记数据集进行训练的元学习，这一过程不同于传统的聚类算法，传统的聚类算法通常需要手动指定的关于聚类形状/结构的先验知识。我们的经验表明，在合成数据和图像数据上，DAC可以有效和准确地聚类来自用于生成训练数据集的相同分布的新数据集。
2019-09-30 cs.LG stat.ML
Functional Autoencoders for Amplitude-Phase Representation Learning
University of Pennsylvania（宾夕法尼亚大学）；ShanghaiTech University（上海科技大学）
针对函数型数据中的幅度与相位变化，提出AP-FAE框架，将潜在空间分解为幅度和相位嵌入，通过平滑解码器和保端点扭曲实现解纠缠，并在合成及真实数据上优于现有方法。
2026-09-29 cs.LG stat.ML
Mixing Consistent Deep Clustering
VU University Amsterdam（阿姆斯特丹自由大学）；BrainCreators B.V.（BrainCreators公司）
在数据中找到定义良好的集群对于许多数据驱动的应用程序来说是一个基本的挑战，并且在很大程度上取决于良好的数据表示。借鉴有关表示学习的文献，研究表明，良好的潜在表示的一个关键特征是在解码两个潜在表示的线性插值时产生语义混合输出的能力。我们提出了混合一致性深度聚类方法，该方法鼓励插值显得逼真，同时添加了两个数据点的插值必须看起来像两个输入之一的约束。通过将这种训练方法应用于各种聚类（非）特定的自动编码器模型，我们发现使用所提出的训练方法系统地改变了模型的学习表示的结构，并提高了MNIST，SVHN和CIFAR-10数据集上测试的ACAI，IDEC和VAE模型的聚类性能。这些结果对许多现实世界的聚类任务具有实际意义，因为它表明所提出的方法可以添加到现有的自动编码器中，以进一步提高聚类性能。
2020-11-03 cs.LG stat.ML
N2D: (Not Too) Deep Clustering via Clustering the Local Manifold of an Autoencoded Embedding
University of Bristol（布里斯托大学）
深度聚类已经越来越多地显示出优于传统的浅聚类算法。深度聚类算法通常将表示学习与深度神经网络相结合以实现此性能，通常优化聚类和非聚类损失。在这种情况下，自动编码器通常与聚类网络连接，并且最终的聚类由自动编码器和聚类网络共同学习。相反，我们建议学习自动编码的嵌入，然后进一步搜索底层流形。为了简单起见，我们使用浅聚类算法对其进行聚类，而不是更深的网络。我们在原始数据和自动编码嵌入上研究了一些局部和全局流形学习方法，得出的结论是，我们框架中的UMAP最能找到嵌入中最具聚类性的流形，这表明自动编码嵌入上的局部流形学习对于发现更高质量的发现聚类是有效的。我们在一系列图像和时间序列数据集上定量显示，我们的方法与最新的深度聚类算法相比具有竞争力的性能，包括在几个方面优于当前最先进的算法。我们假设，这些结果显示了一个有前途的研究方向，深度聚类。代码可以在https://github.com/rymc/n2d上找到
2020-06-30 cs.LG stat.ML
Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning
Nanjing University（南京大学）；Tencent America（腾讯美国）；Sun Yat-sen University（中山大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Westlake University（西湖大学）
我们研究了一个实际的领域自适应任务，称为无源领域自适应（SFUDA），其中源预训练模型适应目标域，而无需访问源数据。现有技术主要利用自监督伪标记来实现类全局对齐[1]或依赖于局部结构提取，以鼓励邻域之间的特征一致性[2]。虽然已经取得了令人印象深刻的进展，这两种方法都有自己的缺点-“全球”的方法是敏感的噪音标签，而“本地”对应遭受源偏见。在本文中，我们提出了划分和对比（DaC），这是SFUDA的一种新范式，它致力于连接两个世界的美好结局，同时绕过它们的局限性。基于源模型的预测置信度，DaC将目标数据划分为类源样本和特定于目标的样本，其中任一组样本在自适应对比学习框架下用定制的目标进行处理。具体地说，类源样本由于其相对干净的标签而用于学习全局类聚类。在实例级利用更嘈杂的特定于目标的数据来学习固有的局部结构。我们进一步使用基于存储体的最大平均离散度（MMD）损失将源样域与目标特定的样本对齐，以减少分布失配。在VisDA、Domain-Home和更具挑战性的DomainNet上进行的大量实验已经验证了DaC优于当前最先进方法的性能。该代码可在https://github.com/ZyeZhang/DaC.git上获得。
2022-11-12 cs.AI cs.CV
Binding via Reconstruction Clustering
The Swiss AI lab IDSIA, USI-SUPSI（瑞士人工智能实验室IDSIA，意大利语区大学-瑞士南部应用科学与艺术大学）
数据的非纠缠分布式表示对于机器学习是理想的，因为它们更有表现力，并且可以从更少的示例中概括。然而，对于复杂数据，存在于同一输入中的多个对象的分布式表示可能会干扰并导致歧义，这通常被称为绑定问题。我们认为绑定问题的重要性，表示学习领域，并开发一个概率框架，明确模型的输入作为一个组成的多个对象。我们提出了一种无监督算法，该算法使用去噪自动编码器通过类似期望最大化的聚类过程将多对象输入中的特征动态绑定在一起。在人工生成的二值图像数据集上证明了这种方法的有效性，表明它甚至可以推广到将自动编码器在训练期间从未见过的新对象绑定在一起。
2016-01-20 cs.LG cs.NE
Deep Representation Learning for Clustering of Health Tweets
Faculty of Medicine and Health Technology, Tampere University（坦佩雷大学医学院与健康技术学院）
Twitter一直是一个突出的社交媒体平台，用于挖掘人口层面的健康数据，将健康相关的推文准确聚类为主题对于提取相关的健康见解非常重要。在这项工作中，我们提出了深度卷积自动编码器，用于学习健康相关推文的紧凑表示，进一步用于聚类。我们比较了我们的方法，几个传统的鸣叫表示方法，包括袋的话，词频逆文档频率，潜在的Dirichlet分配和非负矩阵分解3种不同的聚类算法。我们的研究结果表明，聚类性能使用建议的表示学习计划显着优于传统的方法为所有实验的不同数量的集群。此外，为了进一步提高聚类性能，我们在神经网络训练过程中对学习到的表示提出了一个约束。总而言之，本研究介绍了基于深度神经网络的架构的利用，即，深度卷积自动编码器，用于学习健康相关推文的信息表示。
2018-12-25 cs.CL cs.IR cs.LG
Deep Multi-View Subspace Clustering with Anchor Graph
University of Electronic Science and Technology of China（电子科技大学）；Lehigh University（利哈伊大学）
提出基于锚图的深度多视图子空间聚类方法，通过锚图降低复杂度，利用伪标签优化嵌入，并结合对比学习增强聚类性能。
2023-05-11 cs.LG
Evidence Transfer for Improving Clustering Tasks Using External Categorical Evidence
Institute of Informatics and Telecommunications（信息学与电信研究所）
在本文中，我们介绍了聚类的证据转移，这是一种深度学习方法，可以根据外部分类证据递增地操纵自动编码器的潜在表示，以改善聚类结果。通过证据转移，我们定义了利用外部辅助任务的分类结果来改进主要任务的过程，在这种情况下，用于聚类的表示学习。我们提出的方法不对所提供的分类证据进行假设，也不对潜在空间的结构进行假设。我们通过在部署之前和之后执行k均值聚类来比较我们的方法与基线解决方案。三种不同类型的证据的实验表明，我们的方法有效地操纵潜在的表示时，介绍了真正的相应证据，同时保持鲁棒性时，提出了低质量的证据。
2018-12-15 cs.AI cs.LG stat.ML
Multiview Variational Graph Autoencoders for Canonical Correlation Analysis
Univ. Lyon（里昂大学）；ENS de Lyon（里昂高等师范学院）
提出了一种基于变分方法的多视角典型相关分析模型。这是第一个非线性模型，它考虑了可用的基于图形的几何约束，同时可扩展用于处理具有多个视图的大规模数据集。它基于具有图形卷积神经网络层的自动编码器架构。我们在真实数据集上对我们的分类，聚类和推荐任务进行了实验。该算法与最先进的多视图表示学习技术具有竞争力。
2021-10-04 cs.LG stat.ML
Deep Autoencoders for Dimensionality Reduction of High-Content Screening Data
University of Toronto（多伦多大学）
高内容筛选使用大量未标记的细胞图像数据来推理遗传学或细胞生物学。两个重要的任务是鉴定具有感兴趣的表型的那些细胞，以及鉴定富集这些表型的亚群。这种探索性数据分析通常涉及降维，然后进行聚类，希望聚类代表一种表型。我们建议使用堆叠去噪自动编码器来执行高内容筛选的降维。我们证明了我们的方法优于PCA，局部线性嵌入，核PCA和Isomap的性能。
2015-01-07 cs.LG
Representation Learning by Reconstructing Neighborhoods
University of California, Riverside（加州大学河滨分校）；University of New Mexico（新墨西哥大学）
自提出以来，无监督表示学习引起了研究界的广泛关注，因为它被证明是高效和易于应用的任务，如降维，聚类，可视化，信息检索和半监督学习。在这项工作中，我们提出了一种新的无监督的表示学习框架称为neighbor-encoder，其中领域知识可以很容易地纳入到学习过程中，而无需修改的一般编码器-解码器架构的经典autoencoder.In相比，autoencoder，重建输入数据本身，neighbor-encoder重建输入数据的邻居。由于所提出的表示学习问题本质上是一个邻居重建问题，因此可以以对象之间相似性的适当定义的形式容易地并入领域知识。基于这种观察，我们的框架可以利用任何现成的相似性搜索算法或辅助信息来找到输入对象的邻居。其他算法的应用（例如，关联规则挖掘）也是可能的，因为邻居的适当定义可以在不同的上下文中变化。我们已经证明了我们的框架在许多不同的领域，包括图像，文本和时间序列，以及各种数据采掘任务，包括分类，聚类和可视化的有效性。实验结果表明，邻居编码器不仅在我们考虑的大多数情况下优于自动编码器，而且在文本文档聚类上也达到了最先进的性能。
2018-11-06 cs.AI cs.LG stat.ML
InfoCatVAE: Representation Learning with Categorical Variational Autoencoders
INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；Telecom ParisTech（巴黎高等电信学院）；Safran（赛峰集团）
本文介绍了InfoCatVAE，一个扩展的变分自编码器，使无监督的解开表示学习。InfoCatVAE为先验和推理网络使用多模态分布，然后最大化证据下限目标（ELBO）。我们将新的ELBO模型与自然软聚类目标连接起来，这解释了我们方法的鲁棒性。然后，我们调整InfoGANs方法以适应我们的设置，以最大化分类代码和生成的输入之间的互信息，并获得改进的模型。
2018-06-25 cs.LG stat.ML
A Self-supervised Learning Method for Raman Spectroscopy based on Masked Autoencoders
College of Information Engineering（信息工程学院）；Shanghai Maritime University（上海 Maritime 大学）
提出基于掩码自编码器的拉曼光谱自监督方法SMAE，无需标注预训练，重构去噪提升信噪比两倍以上，聚类准确率超80%，微调后识别精度达83.90%。
2025-04-21 cs.AI cs.LG eess.SP
scASDC: Attention Enhanced Structural Deep Clustering for Single-cell RNA-seq Data
School of Information Science and Engineering, Yunnan University（云南大学信息科学与工程学院）；College of Nursing Health Sciences, Yunnan Open University（云南开放大学护理健康科学学院）；Hefei Institutes of Physical Science, Chinese Academy of Sciences（中国科学院合肥物质科学研究院）
针对 scRNA-seq 数据高稀疏、噪声复杂导致的聚类难题，提出 scASDC，融合 GCN 结构建模、ZINB 自编码器、注意力机制与自监督学习，显著提升单细胞聚类性能。
2024-08-09 cs.AI cs.LG q-bio.GN
Physically Interpretable Representation Learning with Gaussian Mixture Variational AutoEncoder (GM-VAE)
Institute for Computational and Mathematical Engineering, Stanford University（计算与数学工程研究所，斯坦福大学）；Department of Mechanical Engineering, Stanford University（机械工程系，斯坦福大学）；National Renewable Energy Laboratory（国家可再生能源实验室）；Ann and H.J. Smead Department of Aerospace Engineering Sciences, University of Colorado, Boulder（安与H.J.斯迈德航空航天工程科学系，科罗拉多大学，博尔德）
GM-VAE通过结合EM启发式训练和谱可解释性度量，实现对高维科学数据的物理可解释性表示学习，有效提升湍流和反应流动系统的解释能力。
2025-11-26 cs.LG
Adversarial Autoencoders for Compact Representations of 3D Point Clouds
Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）；Tooploox；University of Wrocław（弗罗茨瓦夫大学）；Google Brain（谷歌大脑）；Polish-Japanese Academy of Information Technology（波日信息技术学院）；Warsaw University of Technology（华沙理工大学）
深度生成架构不仅提供了一种建模图像的方法，还提供了一种建模复杂三维对象（如点云）的方法。在这项工作中，我们提出了一种新的方法来获得有意义的表示的三维形状，可用于具有挑战性的任务，包括三维点生成，重建，压缩和聚类。与现有的3D点云生成方法相反，训练分离的解耦模型用于表示学习和生成，我们的方法是第一个端到端的解决方案，允许同时学习表示的潜在空间并从中生成3D形状。此外，我们的模型能够学习有意义的紧凑二进制描述符，并在潜在空间上进行对抗训练。为了实现这一目标，我们扩展了一个深度对抗自动编码器模型（AAE）来接受3D输入并创建3D输出。得益于我们的端到端训练机制，由此产生的3D对抗自动编码器（3dAAE）方法可以获得二进制或连续的潜在空间，覆盖更广泛的训练数据分布。最后，我们的定量评估表明，3dAAE提供了最先进的结果，三维点聚类和三维物体检索。
2019-05-01 cs.CV cs.LG stat.ML
Permutation-Invariant Variational Autoencoder for Graph-Level Representation Learning
Bayer AG（拜耳公司）；Freie Universität Berlin（柏林自由大学）
最近，在将深度神经网络应用于图结构数据方面取得了巨大成功。然而，大多数工作都集中在节点或图级监督学习上，例如节点，链接或图分类或节点级无监督学习（例如节点聚类）。尽管其广泛的可能的应用，图级无监督学习还没有得到太多的关注。这可能主要归因于图的高表示复杂性，其可以由n表示！等价邻接矩阵，其中n是节点数。在这项工作中，我们解决这个问题，提出了一个置换不变的变分自编码器的图形结构化数据。我们提出的模型间接地学习匹配输入和输出图的节点排序，而不施加特定的节点排序或执行昂贵的图匹配。我们证明了我们提出的模型在各种图重建和生成任务上的有效性，并评估了提取的表示对下游图级分类和回归的表达能力。
2021-12-14 cs.LG
Deep Learning-Based Approach for Improving Relational Aggregated Search
Alexandria University（亚历山大大学）；Alamein International University（阿拉曼国际大学）；University of Cincinnati（辛辛那提大学）
针对传统搜索引擎的局限与阿拉伯语文本聚合搜索聚类需求，本研究结合堆叠自编码器与AraBERT嵌入，通过K-means聚类挖掘特征关联，有效提升了搜索结果的聚类效果、准确性与相关性。
2025-10-01 cs.AI cs.IR
Physics Informed Capsule Enhanced Variational AutoEncoder for Underwater Image Enhancement
University of Udine（乌迪内大学）；University of Leiden（莱顿大学）
本文提出一种融合Jaffe-McGlamery物理模型与胶囊聚类的双流水下图像增强架构，在六个基准上以三分之一计算量实现PSNR提升0.5dB以上。
2025-06-05 cs.AI cs.CV eess.IV
Non-linear, Sparse Dimensionality Reduction via Path Lasso Penalized Autoencoders
University of Gothenburg（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
高维数据集通常通过构建潜在的低维空间来分析和探索，这使得方便的可视化和有效的预测建模或聚类成为可能。对于复杂的数据结构，像PCA这样的线性降维技术可能不够灵活，无法实现低维表示。非线性降维技术，如核PCA和自动编码器，遭受损失的可解释性，因为每个潜在变量是依赖于所有的输入尺寸。为了解决这个限制，我们在这里提出了路径套索惩罚自动编码器。这种结构化正则化通过惩罚从输入到潜在变量的编码器的每条路径来增强可解释性，从而限制每个潜在维度中表示多少输入变量。我们的算法使用组套索惩罚和非负矩阵分解来构建稀疏的，非线性的潜在表示。我们比较路径套索正则化的自动编码器PCA，稀疏PCA，自动编码器和稀疏自动编码器的真实和模拟数据集。我们表明，该算法表现出低得多的重建误差比稀疏PCA和参数明智的套索正则化低维表示的自编码器。此外，路径套索表示提供了更准确的重建匹配，即保留原始空间和重建空间中的对象之间的相对距离。
2021-10-20 cs.LG stat.ME
Gromov-Wasserstein Autoencoders
Hokkaido University（北海道大学）
基于变分自编码器（VAE）的生成模型通过合并元先验（被认为有利于下游任务的一般前提）来提供灵活的表示学习。然而，合并的元先验通常涉及自组织模型偏离原始似然架构，导致其训练中的不期望的变化。在本文中，我们提出了一种新的表示学习方法，Gromov-Wasserstein自动编码器（GWAE），它直接匹配的潜在和数据分布使用变分自动编码方案。GWAE模型不是基于可能性的目标，而是最小化可训练先验和给定数据分布之间的Gromov-Wasserstein（GW）度量。GW度量度量即使具有不同维度的分布之间的距离结构导向的差异，这提供了潜在空间和数据空间之间的直接度量。通过限制先验族，我们可以将元先验引入潜在空间而不改变它们的目标。与基于VAE的模型的实证比较表明，GWAE模型工作在两个突出的元先验，解纠缠和集群，其GW目标不变。
2023-02-24 cs.CV cs.LG
Improved Representation Learning Through Tensorized Autoencoders
Technical University of Munich（慕尼黑工业大学）；School of Computation, Information and Technology（计算、信息与技术学院）
表示学习的核心问题是什么构成了一个好的或有意义的表征。在这项工作中，我们认为，如果我们考虑的数据与固有的集群结构，集群可以通过不同的手段和协方差的特点，这些数据结构应该表示在嵌入以及。虽然自动编码器（AE）在实践中广泛用于无监督表示学习，但它们不满足上述嵌入条件，因为它们获得数据的单一表示。为了克服这一点，我们提出了一种元算法，可用于将任意AE架构扩展到张量化版本（TAE），该版本允许学习特定于集群的嵌入，同时学习集群分配。对于线性设置，我们证明了TAE可以恢复的主成分的不同集群的主成分的标准AE恢复的整个数据的对比。我们在种植模型上验证了这一点，并且对于一般的非线性和卷积AE，我们凭经验证明了张量化AE有利于聚类和去噪任务。
2022-12-02 cs.LG
When Does Deep Representation Learning Help Single-Cell Clustering? A Sensitivity-Aware Diagnostic Benchmark for Biomedical AI Pipelines
Van Lang University（范朗大学）
研究单细胞聚类中深度表示学习是否必要，通过九个聚类管道在十个真实数据集上的诊断基准测试及相关分析，集成多种测试方法，揭示不同模式，确定主要方差贡献者，提供数据集感知和计算意识决策框架。
2026-07-29 cs.LG q-bio.GN
Unsupervised Atomic Data Mining via Multi-Kernel Graph Autoencoders for Machine Learning Force Fields
提出无监督的 MEAGraph 模型，结合多线性核变换与注意力消息传递捕捉几何敏感性，高效聚类原子环境并实现数据集剪枝以消除采样偏差。
2025-09-15 cond-mat.mtrl-sci cs.LG
Unsupervised Graph Attention Autoencoder for Attributed Networks using K-means Loss
Université de Ghardaia（盖尔达耶大学）
针对属性网络的社区检测任务，提出基于k-means损失的无监督图注意力自编码器模型GAECO，兼顾拓扑与属性信息，在NMI、ARI指标上优于SOTA且可扩展至大规模网络。
2023-11-24 cs.AI cs.CL
Improving k-Means Clustering Performance with Disentangled Internal Representations
College of Computer Studies De La Salle University（德拉萨大学计算机研究学院）
深度聚类算法通过联合优化聚类损失和非聚类损失来组合表示学习和聚类。在这样的方法中，深度神经网络与聚类网络一起用于表示学习。而不是遵循这个框架来提高聚类性能，我们提出了一个更简单的方法来优化纠缠的学习潜在代码表示的自动编码器。我们将纠缠定义为来自同一类或结构的点对相对于来自不同类或结构的点对的接近程度。为了测量数据点的纠缠度，我们使用了软近邻损耗，并通过引入退火温度因子对其进行了扩展。使用我们提出的方法，MNIST数据集的测试聚类准确率为96.2%，Fashion-MNIST数据集为85.6%，EMNIST Balanced数据集为79.2%，优于我们的基线模型。
2020-06-05 cs.LG cs.NE stat.ML
Deep Clustering Based on a Mixture of Autoencoders
Bar-Ilan University（巴伊兰大学）
在本文中，我们提出了一种基于深度自动编码器混合的深度自动编码器混合聚类（DAMIC）算法，其中每个聚类由一个自动编码器表示。聚类网络将数据转换到另一个空间，然后选择其中一个聚类。接下来，使用与该聚类相关联的自动编码器来重建数据点。聚类算法联合学习非线性数据表示和自编码器集合。通过最小化混合自编码器网络的重构损失来寻找最优聚类。与其他深度聚类算法不同，不需要正则化项来避免数据崩溃到单个点。我们对图像和文本语料库的实验评估表明，国家的最先进的方法显着改善。
2019-03-27 cs.AI cs.LG stat.ML
Device Authentication Codes based on RF Fingerprinting using Deep Learning
Prairie View A&M University（普雷里维尤农工大学）；Texas A&M University System（德州农工大学系统）
在本文中，我们提出了设备认证码（DAC），这是一种通过利用无线接口的射频（RF）签名来认证物联网设备的新方法。所提出的DAC基于RF指纹识别、信息论方法、特征学习和深度学习的区分能力。具体而言，自动编码器用于从RF迹线自动提取特征，并且重建误差用作DAC，并且该DAC对于器件和感兴趣的特定消息是唯一的。然后，利用Kolmogorov-Smirnov（K-S）检验对自动编码器产生的重构误差分布与接收到的消息进行匹配，从而确定感兴趣的设备是否属于授权用户。我们验证了这一概念的两个实验收集的RF轨迹从六个ZigBee和五个通用软件定义的无线电外设（USRP）设备，分别。通过改变设备的位置和移动性以及信道干扰和噪声，迹线跨越信噪比的范围，以确保模型的鲁棒性。实验结果表明，DAC能够通过提取显著特征来防止设备冒充，这些显著特征对于任何感兴趣的无线设备都是唯一的，并且可以用于识别RF设备。此外，所提出的方法在模型训练期间不需要入侵者的RF迹线，但能够识别在训练期间未看到的设备，这使得它具有实用性。
2020-04-19 cs.CR cs.LG eess.SP
DifCluE: Generating Counterfactual Explanations with Diffusion Autoencoders and modal clustering
TCS Research（TCS研究院）
本文提出 DifCluE，结合扩散自编码器与潜在空间模态聚类，识别类别内不同模态方向，从而生成多样可靠的反事实解释，性能优于现有方法。
2025-02-17 cs.AI cs.LG
Masked AutoEncoder for Graph Clustering without Pre-defined Cluster Number k
针对图自编码器聚类泛化差且簇数难定的问题，提出GCMA框架，利用图掩码融合编码与改进密度聚类第二解码器端到端输出簇数并提升泛化。
2024-01-09 cs.LG
Deep clustering with fusion autoencoder
School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院）
近年来，将深度学习技术用于聚类研究中的表示学习引起了广泛的关注，产生了一种新的聚类范式，即深度聚类（DC）。通常，DC模型利用自动编码器来学习内在特征，从而促进聚类过程。目前，一种称为变分自编码器（VAE）的生成模型在DC研究中得到了广泛的认可。然而，普通的VAE不足以感知全面的潜在特征，导致聚类性能下降。在本文中，提出了一种新的DC方法来解决这个问题。具体来说，生成对抗网络和VAE被合并到一个新的自动编码器中，称为融合自动编码器（FAE），用于识别更有区别的表示，这有利于下游的聚类任务。此外，FAE实现了深度残差网络架构，进一步增强了表示学习能力。最后，FAE的潜在空间被转换成由深密集神经网络形成的嵌入空间，用于将不同的聚类彼此拉开并折叠各个聚类内的数据点。在多个图像数据集上进行的实验证明了所提出的DC模型对基线方法的有效性。
2022-01-14 cs.LG
Joint Optimization of an Autoencoder for Clustering and Embedding
UiT The Arctic University of Norway（挪威北极圈大学）；Institute of Information Systems（信息系统研究所）
深度嵌入式聚类已经成为使用深度神经网络对对象进行无监督分类的主要方法。最流行的方法的优化在深度自动编码器的训练和自动编码器嵌入的k均值聚类之间交替。然而，历时性的背景使前者无法从后者获得的有价值的信息中获益。在本文中，我们提出了一种替代方案，其中自动编码器和聚类同时学习。这是通过提供新的理论见解来实现的，在那里我们表明，某一类高斯混合模型（GMM）的目标函数可以自然地被改写为一个隐藏层自动编码器的损失函数，从而继承了GMM的内置聚类能力。这个简单的神经网络，被称为聚类模块，可以被集成到深度自动编码器中，从而产生能够联合学习聚类和嵌入的深度聚类模型。实验证明了聚类模型与高斯混合模型的等价性。进一步的评估肯定了我们的深度架构的经验相关性，因为它在几个数据集上的表现优于相关基线。
2021-05-01 cs.LG stat.ML
Spectral Clustering via Ensemble Deep Autoencoder Learning (SC-EDAE)
University of Paris Descartes（巴黎笛卡尔大学）
最近，许多作品研究了结合经典聚类算法和深度学习方法的聚类策略。这些方法遵循顺序方式，其中在使用k-means获得聚类之前使用深度自动编码器学习深度表示，或者同时方式，其中通过优化单个目标函数来联合学习深度表示和聚类。这两种策略都提高了聚类性能，但是这些方法的鲁棒性受到几个深层自动编码器设置问题的阻碍，其中包括权重初始化，层的宽度和数量或epoch的数量。为了减轻这种超参数设置对聚类性能的影响，我们提出了一种新的模型，该模型在集成学习框架中结合了谱聚类和深度自动编码器的优势。在各种基准数据集上的广泛实验证明了我们的方法与最先进的深度聚类方法相比的潜力和鲁棒性。
2019-06-12 cs.LG stat.ML
Clustering Time Series Data with Gaussian Mixture Embeddings in a Graph Autoencoder Framework
针对传统时间序列聚类难以捕捉复杂时间依赖的问题，提出变分混合图自编码器（VMGAE），利用图结构优势捕捉数据关系并生成高斯混合嵌入，实验表明其显著优于现有技术，在金融数据上的应用可为市场分析提供深度见解。
2024-11-25 cs.AI cs.LG eess.SP
Autoencoder-based time series clustering with energy applications
EDF R&D（法国电力集团研发部）
由于数据的特定性质，时间序列聚类是一项具有挑战性的任务。经典的方法并没有很好地执行，需要通过一个新的距离测量或数据转换进行调整。在本文中，我们研究了卷积自动编码器和k-medoids算法的组合来执行时间序列聚类。卷积自动编码器允许提取有意义的特征并减少数据的维度，从而改善后续聚类。使用模拟和能源相关的数据来验证该方法，实验结果表明，聚类是鲁棒的离群值，从而导致更精细的聚类比标准方法。
2020-02-10 cs.LG stat.ML
Deep Unsupervised Clustering Using Mixture of Autoencoders
University of Michigan（密歇根大学）；Technicolor（特艺集团）；Adobe（Adobe公司）
无监督聚类是机器学习中最基本的挑战之一。一个流行的假设是，数据是从一个低维非线性流形的联合产生的，因此聚类的方法是识别和分离这些流形。在本文中，我们提出了一种新的方法来解决这个问题，通过使用混合的自动编码器。我们的模型由两部分组成：1）一个自动编码器的集合，其中每个自动编码器学习一组相似对象的底层流形，以及2）混合分配神经网络，它将来自自动编码器的级联潜在向量作为输入并推断集群上的分布。通过联合优化这两个部分，我们同时将数据分配给集群并学习每个集群的底层流形。
2017-12-26 cs.LG stat.ML
Diagnostic Method for Hydropower Plant Condition-based Maintenance combining Autoencoder with Clustering Algorithms
Électricité de France Hydro Sud-Ouest（法国电力公司西南水电分部）；Laboratoire Génie de Production（生产工程实验室）；Université de Toulouse（图卢兹大学）；Université de Technologie Tarbes Occitanie Pyrénées（塔布-奥克西塔尼-比利牛斯技术大学）
本文提出一种结合聚类算法与自编码器神经网络的水电站状态检修诊断方法，通过降维投影、聚类分组和重构误差计算实现状态检测与邻近指数构建。
2025-02-24 cs.AI cs.LG cs.NE
Cancer Subtyping by Improved Transcriptomic Features Using Vector Quantized Variational Autoencoder
Osaka University（大阪大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Yunnan University（云南大学）
定义和分离癌症亚型对于促进个性化治疗模式和患者预后至关重要。亚型的定义随着我们理解的加深而不断被重新校准。在这种重新校准过程中，研究人员通常依赖于癌症数据的聚类，以提供直观的视觉参考，从而揭示亚型的内在特征。被聚类的数据通常是组学数据，如转录组学，与潜在的生物学机制有很强的相关性。然而，尽管现有的研究已经显示出有希望的结果，但它们受到与组学数据相关的问题的困扰：样本稀缺和高维。因此，现有的方法往往强加不切实际的假设，从数据中提取有用的功能，同时避免过度拟合虚假的相关性。在本文中，我们建议利用最近的强大的生成模型，矢量量化变分自编码器（VQ-VAE），以解决数据问题，并提取信息的潜在特征，这是至关重要的后续聚类的质量只保留相关的信息重建输入。VQ-VAE不强加严格的假设，因此其潜在特征是输入的更好表示，能够使用任何主流聚类方法产生卓越的聚类性能。对包括10种不同癌症的多个数据集进行的广泛实验和医学分析表明，VQ-VAE聚类结果可以显着且稳健地改善流行亚型系统的预后。
2022-07-20 cs.AI cs.LG
Deep Clustering via Joint Convolutional Autoencoder Embedding and Relative Entropy Minimization
University of Pittsburgh（匹兹堡大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Xidian University（西安电子科技大学）；University of Sydney（悉尼大学）
图像聚类是计算机视觉最重要的应用之一，在文献中得到了广泛的研究。然而，现有的聚类方法在处理大规模、高维数据时，大多缺乏效率和可扩展性。在本文中，我们提出了一个新的聚类模型，称为DEeP嵌入正则化的聚类（DEPICT），它有效地将数据映射到一个有区别的嵌入子空间，并精确地预测聚类分配。DEPICT通常由堆叠在多层卷积自动编码器顶部的多项式逻辑回归函数组成。我们定义了一个聚类的目标函数，使用相对熵（KL发散）最小化，正则化的集群分配的频率之前。一个交替的策略，然后推导出优化的目标，通过更新参数和估计集群分配。此外，我们在自动编码器中使用重建损失函数作为数据相关的正则化项，以防止深度嵌入函数过拟合。为了从端到端优化中获益并消除逐层预训练的必要性，我们引入了一个联合学习框架来最小化统一的聚类和重建损失函数，并同时训练所有网络层。实验结果表明，DEPICT的优越性和更快的运行时间在现实世界的聚类任务，其中没有标记的数据可用于超参数调整。
2017-08-09 cs.LG
Learning Latent Superstructures in Variational Autoencoders for Deep Multidimensional Clustering
The Hong Kong University of Science and Technology（香港科技大学）；The Education University of Hong Kong（香港教育大学）
我们研究了变分自编码器的一个变体，其中在潜在特征之上存在离散潜在变量的上层结构。一般来说，我们的超结构是一个树结构的多个超级潜在的变量，它是自动学习的数据。当上层结构中只有一个潜在变量时，我们的模型简化为假设潜在特征从高斯混合模型生成的模型。我们称我们的模型为潜在树变分自编码器（LTVAE）。以前的深度学习聚类方法只产生一个数据分区，而LTVAE产生多个数据分区，每个分区由一个超级潜在变量给出。这是可取的，因为高维数据通常具有许多不同的自然方面，并且可以以多种方式进行有意义的分区。
2019-02-22 cs.LG
Shape-Informed Clustering of Multi-Dimensional Functional Data via Deep Functional Autoencoders
School of Computer Science and Statistics（计算机科学与统计学学院）；Trinity College Dublin（都柏林信任学院）；School of Electronic Engineering（电子工程学院）；Dublin City University（都柏林城市大学）
本文提出FAEclust深度函数自编码器框架，用于多维函数数据聚类，通过形状感知聚类目标抵抗相位变化，并经实验验证其有效性。
2025-10-09 cs.LG
Towards Interpretable and Inference-Optimal COT Reasoning with Sparse Autoencoder-Guided Generation
University of California, San Diego（加州大学圣地亚哥分校）
本研究提出用稀疏自编码器和聚类技术分析大语言模型内部token表示，构建推理轨迹图并定义奖励函数平衡利用与探索，以引导数学推理任务生成，提升大模型推理的可解释性与效果。
2025-10-02 cs.AI cs.LG
A Robust Speaker Clustering Method Based on Discrete Tied Variational Autoencoder
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
目前，基于聚合层次聚类（AHC）的说话人聚类模型是解决无预设类别数聚类和固定类别数聚类两个主要问题的常用方法。一般情况下，模型以i向量等特征作为概率的输入，线性判别分析模型（PLDA）的目的是在长语音应用场景中形成距离矩阵，然后通过聚类模型得到聚类结果。然而，传统的基于AHC的说话人聚类方法存在运行时间长、对环境噪声敏感等缺点。本文提出了一种基于互信息和离散变量非线性模型的说话人聚类方法，该方法在Tied Variational Autoencoder（TVAE）的启发下，提高了说话人聚类算法对噪声的鲁棒性。提出的方法命名为离散捆绑变分自动编码器（DTVAE），大大缩短了耗时。根据经验结果，它优于一般模型，并产生相对精度（ACC）的改善和显着的时间减少。
2020-03-04 cs.LG cs.SD eess.AS
Fast Spectral Clustering Using Autoencoders and Landmarks
University of Waterloo（滑铁卢大学）
在本文中，我们介绍了一种算法进行谱聚类效率。谱聚类是一种功能强大的聚类算法，但由于特征分解而具有高计算复杂性。在这项工作中，我们首先建立数据集对应图的邻接矩阵。为了构建这个矩阵，我们只考虑有限数量的点，称为地标，并计算所有数据点与地标的相似性。然后，我们给出了图的拉普拉斯矩阵的定义，使我们能够使用深度自动编码器有效地执行本征分解。本征分解算法的总体复杂度为$O(np)$，其中$n$是数据点的数量，$p$是界标的数量。最后，通过不同的实验对算法的性能进行了评估.
2017-04-07 cs.LG stat.ML
Unsupervised Clustering of Roman Potsherds via Variational Autoencoders
University of Cambridge（剑桥大学）
在本文中，我们提出了一个人工智能成像解决方案，以支持考古学家在罗马陶器碎片的分类任务。通常，每个陶片都以其截面轮廓作为二维的黑白图像来表示，并印刷在与特定考古发掘相关的考古书籍中。片段的随机和手工方差使得它们的匹配成为一个具有挑战性的问题：我们建议通过在深度卷积变分自编码器（VAE）网络的潜在空间中学习的非线性特征的无监督分层聚类来配对相似的配置文件。我们的贡献还包括创建一个罗马陶瓷（ROCOPOT）数据库，从25个罗马陶器语料库中提取了4000多个陶片配置文件，以及一个MATLAB GUI软件，用于轻松检查形状相似性。从数学和考古学的角度对结果进行了评论，以便在两个社区中解锁新的研究方向。
2022-03-14 cs.AI cs.CV cs.DB
Deep Spectral Clustering using Dual Autoencoder Network
Xidian University（西安电子科技大学）；Southern University of Science and Technology（南方科技大学）；Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）
聚类方法最近在学习和视觉领域受到越来越多的关注。深度聚类将嵌入和聚类结合在一起，以获得最佳嵌入子空间进行聚类，与传统的聚类方法相比，它可以更有效。在本文中，我们提出了一个联合学习框架的判别嵌入和谱聚类。我们首先设计了一个双自动编码器网络，它强制执行潜在表示及其噪声版本的重建约束，将输入嵌入到潜在空间中进行聚类。因此，学习的潜在表示可以对噪声更鲁棒。然后，利用互信息估计来提供来自输入的更多辨别性信息。此外，一个深谱聚类方法被应用到嵌入到特征空间的潜在表示，并随后聚类它们，它可以充分利用输入之间的关系，以达到最佳的聚类结果。基准数据集上的实验结果表明，我们的方法可以显着优于国家的最先进的聚类方法。
2019-04-30 cs.CV cs.LG stat.ML
Multi-level Feature Learning on Embedding Layer of Convolutional Autoencoders and Deep Inverse Feature Learning for Image Clustering
Northern Arizona University（北亚利桑那大学）
本文介绍了多层特征学习以及卷积自动编码器的嵌入层（CAE-MLE），作为深度聚类的一种新方法。我们使用凝聚聚类作为多级特征学习，在潜在特征空间上提供层次结构。研究表明，应用多级特征学习可以大大改善基本的深度卷积嵌入聚类（DCEC）。CAE-MLE在考虑凝聚聚类的聚类损失的同时，也考虑了CAE的学习特性。在下面的反向特征学习中，我们证明了错误学习作为一种通用策略的表示可以应用于不同的深度聚类方法，并产生了有希望的结果。我们在CAE-MLE上开发了深度逆特征学习（deep IFL），作为一种新方法，它在同类方法中获得了最先进的结果。在MNIST和USPS两个著名数据集上的实验结果表明，CAE-MLE比基本方法DCEC的结果提高了7% -14%。此外，它表明，建议的深IFL改进的初步结果约9%-17%。因此，所提出的CAE-MLE方法和基于CAE-MLE的深度IFL方法与大多数现有技术相比可以导致显著的性能改善。所提出的方法虽然基于基本的卷积自编码器，但即使与变分自编码器或生成对抗网络相比，也会产生出色的结果。
2020-10-05 cs.CV cs.LG
Dissimilarity Mixture Autoencoder for Deep Clustering
Universidad Nacional de Colombia（哥伦比亚国立大学）
相异性混合自动编码器（DMAE）是一种用于基于特征的聚类的神经网络模型，它包含灵活的相异性函数，可以集成到任何类型的深度学习架构中。它在内部表示一个相异性混合模型（DMM），该模型通过将概率重新解释为神经网络表示，将K均值、高斯混合模型或Bregman聚类等经典方法扩展到任何凸和可微相异性函数。DMAE可以与深度学习架构集成到端到端模型中，允许同时估计聚类和神经网络的参数。在图像和文本聚类基准数据集上进行了实验评估，结果表明DMAE在无监督分类精度和归一化互信息方面具有竞争力。DMAE实现的源代码可在https://github.com/juselara1/dmae上公开获得
2021-07-15 cs.CV cs.LG stat.ML
An Efficient and Explanatory Image and Text Clustering System with Multimodal Autoencoder Architecture
Columbia University（哥伦比亚大学）
本研究提出基于CRVAE的多模态聚类系统，整合帧文对齐、潜空间聚类与LLM解释器，可将视频划分为3-5个主题并生成描述，已在两个新闻主题验证有效，用于跨文化新闻对比研究。
2024-08-14 cs.AI cs.CV cs.LG
Autoencoder-Driven Weather Clustering for Source Estimation during Nuclear Events
Institute of Informatics & Telecommunications, National Centre for Scientific Research “Demokritos”（国家科学研究中心“德莫克利特”信息与电信研究所）；Institute of Nuclear & Radiological Sciences and Technology, Energy & Safety, National Centre for Scientific Research “Demokritos”（国家科学研究中心“德莫克利特”能源与安全研究所核与放射科学技术研究所）
由于所涉及的数据和模型的隐藏复杂性，核或辐射事件的应急响应应用可以通过深度特征学习得到显着改善。在本文中，我们提出了一种新的方法，快速源估计在放射性释放的基础上深特征提取和天气聚类。然后根据确定的主要天气模式计算大气扩散，并与地面辐射读数所指示的模拟事件相匹配。我们评估我们的方法在欧洲地区多年的天气再分析数据的准确性。我们将这些结果与深度分类卷积网络并列，并讨论其优点和缺点。
2018-01-13 cs.LG
Deep Clustering with a Dynamic Autoencoder: From Reconstruction towards Centroids Construction
National Engineering School of Tunis（突尼斯国立工程师学院）；University of Tunis El Manar（突尼斯埃尔马纳尔大学）；Ryerson University（瑞尔森大学）；Higher School of Communication of Tunis（突尼斯高等通信学院）；University of Carthage（迦太基大学）
在无监督学习中，没有明显的直接成本函数可以捕获变化和相似性的重要因素。由于自然系统具有平滑的动态特性，如果无监督的目标函数在训练过程中保持静态，则会失去机会。缺乏具体的监督表明，应该整合平稳的动态。与经典的静态成本函数相比，动态目标函数允许更好地利用通过伪监督获得的渐进和不确定的知识。在本文中，我们提出了动态自动编码器（DynAE），这是一种新的深度聚类模型，通过逐渐平滑地消除重建目标函数，以利于构建目标函数，从而克服了聚类-重建权衡。在基准数据集上的实验评估表明，与最相关的深度聚类方法相比，我们的方法实现了最先进的结果。
2020-01-02 cs.LG stat.ML
