Augmentation-Interpolative AutoEncoders for Unsupervised Few-Shot Image Generation
Cornell University（康奈尔大学）
我们的目标是建立图像生成模型，从几个例子推广到新领域。为此，我们首先研究了经典图像生成器的泛化特性，并发现自动编码器可以很好地泛化到新的领域，即使在高度约束的数据上训练也是如此。我们利用这一见解，产生一个强大的，无监督的Few-Shot图像生成算法，并介绍了一种新的训练过程的基础上恢复图像的数据增强。我们的增强插值自动编码器仅从少数参考图像合成新颖物体的逼真图像，并且优于先前的插值模型和监督的Few-Shot图像生成器。我们的程序是简单和轻量级的，广泛的推广，并在培训过程中不需要类别标签或其他监督。
2020-11-25 cs.CV cs.LG
Conditional Random Field Autoencoders for Unsupervised Structured Prediction
Carnegie Mellon University（卡内基梅隆大学）
我们介绍了一个框架，无监督学习的结构化预测重叠，全球功能。每个输入的潜在表示是预测的可观察的数据使用一个功能丰富的条件随机场的条件。然后，重建的输入（重新）生成，条件的潜在结构，使用模型的最大似然估计具有封闭形式。我们的自动编码器公式可以实现有效的学习，而不会做出不切实际的独立性假设或限制可以使用的特征种类。我们说明了与传统自动编码器，后验正则化和多视图学习的深刻联系。我们展示了两个典型NLP任务的模型实例的竞争结果：词性归纳和双文本单词对齐，并表明训练我们的模型可以比类似的特征丰富的基线更有效。
2014-11-10 cs.CL cs.LG
Improving Unsupervised Word-by-Word Translation with Language Model and Denoising Autoencoder
RWTH Aachen University（亚琛工业大学）；Human Language Technology and Pattern Recognition Group（人类语言技术与模式识别小组）
跨语言词嵌入的无监督学习提供了跨语言的词的优雅匹配，但在翻译句子时有根本的局限性。在本文中，我们提出了简单而有效的方法来提高跨语言嵌入的逐字翻译，只使用单语语料库，但没有任何回译。我们集成了一个语言模型上下文感知搜索，并使用一种新的去噪自动编码器来处理重新排序。我们的系统超越了最先进的无监督神经翻译系统，无需昂贵的迭代训练。我们还分析了词汇量大小和去噪类型对翻译性能的影响，这为学习跨语言词嵌入及其在翻译中的使用提供了更好的理解。
2019-01-06 cs.CL cs.LG
Unsupervised Motion Representation Learning with Capsule Autoencoders
School of Computing（计算机学院）；NUS Graduate School（新加坡国立大学研究生院）；National University of Singapore（新加坡国立大学）
我们提出了运动胶囊自动编码器（MCAE），它解决了运动表示的无监督学习中的一个关键挑战：变换不变性。MCAE在两级层次结构中对运动进行建模。在较低的水平，时空运动信号被划分为短，本地和语义不可知的片段。在更高的级别中，片段被聚合以形成完整长度的语义感知片段。对于这两个级别，我们表示运动与一组学习的变换不变的模板和相应的几何变换，通过使用胶囊自动编码器的一种新颖的设计。这导致视点变化的鲁棒且高效的编码。MCAE是在一个新的Trajectory20运动数据集和各种真实世界的基于机器人的人类动作数据集上进行评估的。值得注意的是，它在Trajectory20上实现了比基线更好的结果，在无监督的基于动作识别任务上具有更少的参数和最先进的性能。
2021-10-01 cs.CV cs.LG
Bag-of-Vectors Autoencoders for Unsupervised Conditional Text Generation
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）
文本自动编码器通常用于无监督的条件文本生成，通过在潜在空间中应用映射将属性更改为所需的值。最近，Mai等人（2020）提出了Emb 2 Emb，这是一种在自动编码器的嵌入空间中学习这些映射的方法。然而，他们的方法仅限于具有单向量嵌入的自动编码器，这限制了可以保留多少信息。我们通过将他们的方法扩展到Bag-of-Vectors Autoencoders（BoV-AE）来解决这个问题，BoV-AE将文本编码为一个可变大小的矢量包，该矢量包随着文本的大小而增长，就像基于注意力的模型一样。这允许编码和重建比标准自动编码器长得多的文本。类似于传统的自动编码器，我们提出了正则化技术，便于学习潜在空间中有意义的操作。最后，我们调整Emb 2 Emb的训练方案，学习映射输入袋到输出袋，包括一个新的损失函数和神经架构。我们对无监督情感转移的经验评估表明，我们的方法比标准的自动编码器表现得更好。
2023-02-04 cs.AI cs.CL cs.LG
Hierarchical Quantized Autoencoders
Speechmatics（Speechmatics公司）
尽管在训练用于有损图像压缩的神经网络方面取得了进展，但当前的方法无法在非常低的比特率下保持感知质量和抽象特征。最近在学习离散表示与矢量量化变分自编码器（VQ-VAE）的成功，我们鼓励使用的VQ-VAE的层次结构，以达到高的压缩因子。我们表明，随机量化和分层潜在结构的组合，艾滋病的可能性为基础的图像压缩。这导致我们引入一个新的目标，训练分层VQ-VAE。我们的方案产生了一系列的马尔可夫潜变量，重建图像的高感知质量，保留语义有意义的功能。我们对CelebA和MNIST数据集进行了定性和定量评估。
2020-10-16 cs.CV cs.LG cs.NE
Unsupervised Abnormality Detection through Mixed Structure Regularization (MSR) in Deep Sparse Autoencoders
Philips Medical Systems Technologies Ltd.（飞利浦医疗系统科技有限公司）
除了显式稀疏正则化项和具有高斯噪声的输入数据的随机损坏之外，具有混合结构正则化（MSR）的深度稀疏自动编码器具有改进无监督异常检测的潜力。基于使用深度稀疏自动编码器识别离群值的无监督异常检测对于医学计算机辅助检测系统来说是非常有吸引力的方法，因为它只需要健康的数据进行训练，而不是专家注释的异常。在冠状动脉计算机断层扫描血管造影（CCTA）检测冠状动脉疾病的任务中，我们的研究结果表明，与深度稀疏和去噪自动编码器相比，MSR有可能将整体性能提高20-30%。
2019-02-28 cs.CV cs.LG
Source Separation of Multi-source Raw Music using a Residual Quantized Variational Autoencoder
Sapienza University of Rome（罗马第一大学）
本研究提出一种基于残差量化变分自编码器的神经音频编解码器模型，在Slakh2100数据集上训练后可实现音乐源分离，以远低于现有方法的算力取得接近当前最优水平的效果，且代码已公开。
2024-08-12 cs.LG cs.MM cs.SD
Hierarchical Residual Learning Based Vector Quantized Variational Autoencoder for Image Reconstruction and Generation
Monash University（莫纳什大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
我们提出了一种多层变分自编码器方法，我们称之为HR-VQVAE，它学习数据的分层离散表示。通过利用一种新的目标函数，在HR-VQVAE中的每一层通过矢量量化编码器从先前的层学习残差的离散表示。此外，每一层的表示都与前一层的表示分层链接。我们评估我们的方法的图像重建和生成的任务。实验结果表明，HR-VQVAE学习的离散表示使解码器能够重建高质量的图像，失真比基线方法，即VQVAE和VQVAE-2。HR-VQVAE还可以生成高质量和多样化的图像，这些图像的性能优于最先进的生成模型，从而进一步验证了学习表示的效率。HR-VQVAE的分层性质i）减少了解码搜索时间，使得该方法特别适用于高负载任务，以及ii）允许增加码本大小而不会引起码本崩溃问题。
2022-08-09 cs.CV cs.LG
Unsupervised Change Detection in Hyperspectral Images using Feature Fusion Deep Convolutional Autoencoders
双时共配准高光谱图像中的二值变化检测是一项具有挑战性的任务，由于大量的光谱波段中存在的数据。因此，研究人员试图通过减少维度来处理它。所提出的工作旨在建立一个新的特征提取系统，使用特征融合深度卷积自动编码器来检测一对这样的双时间共配准高光谱图像之间的变化。特征融合考虑了连续层次和多个感受野的特征，因此比现有的特征提取方法增加了竞争优势。所描述的变化检测技术是完全无监督的，并且比其他需要一些标签信息的监督或半监督方法更优雅。不同的方法已被应用到提取的特征，以找到在两个图像中的变化，它被发现，所提出的方法显然优于最先进的方法在所有的数据集的无监督变化检测。
2021-09-10 cs.CV cs.LG
Improving Unsupervised Defect Segmentation by Applying Structural Similarity to Autoencoders
MVTec Software GmbH（MVTec软件有限公司）；University of Amsterdam（阿姆斯特丹大学）
卷积自动编码器已经成为图像数据上无监督缺陷分割的流行方法。最常见的是，通过基于$\ell^p$距离对逐像素重建误差进行阈值化来执行该任务。然而，这个过程会导致大的残差，每当重建包含轻微的定位边缘周围的不准确。当强度值保持大致一致时，它也无法揭示视觉上已经改变的缺陷区域。我们发现，这些问题阻止这些方法被应用到复杂的现实世界的情况下，它不能很容易地避免采用更精细的架构，如变分或功能匹配的自动编码器。我们建议使用一个感知损失函数的基础上，结构相似性，检查局部图像区域之间的相互依赖关系，考虑到亮度，对比度和结构信息，而不是简单地比较单个像素值。它在具有挑战性的纳米纤维材料的真实世界数据集和两种编织织物的新型数据集上实现了显着的性能增益，超过了使用逐像素重建误差度量的无监督缺陷分割的最新方法。
2019-02-01 cs.CV cs.LG
Unsupervised Multiple-Object Tracking with a Dynamical Variational Autoencoder
Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所罗纳-阿尔卑斯大区格勒诺布尔中心）；Univ. Grenoble-Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble-INP（格勒诺布尔国立理工学院）
提出了一种基于动态变分自编码器（DVAE）的多目标跟踪（MOT）无监督概率模型及其估计算法（DVAE-UMOT）。DVAE是一种潜在变量深度生成模型，可以被视为用于时间序列建模的变分自编码器的扩展。它包含在DVAE-UMOT中，在对单对象轨迹的未标记合成数据集进行预训练后，对对象的动态进行建模。然后利用变分推理的原理：定义隐变量的近似后验分布，最大化数据似然函数的相应证据下界，在每个待跟踪的多目标序列上估计DVAE-UMOT的分布和参数。DVAE-UMOT的实验结果表明，竞争以及甚至超过两个国家的最先进的概率MOT模型的性能。代码和数据是公开的。
2022-02-21 cs.CV cs.LG
Enhancing into the codec: Noise Robust Speech Coding with Vector-Quantized Autoencoders
Amazon Web Services（亚马逊云科技）
最近已经开发出基于离散神经自编码器的音频编解码器，并且显示出对于相当质量的语音输出提供显著更高的压缩水平。然而，这些模型与语音内容紧密耦合，并且在噪声条件下产生非预期的输出。基于VQ-VAE自编码器和WaveRNN解码器，我们开发了压缩增强器编码器和附带的解码器，并表明它们在噪声条件下运行良好。我们还观察到，压缩增强器模型在干净的语音输入上的性能优于仅在干净的语音上训练的压缩器模型。
2021-02-12 cs.LG eess.AS
MTS-DMAE: Dual-Masked Autoencoder for Unsupervised Multivariate Time Series Representation Learning
Northeastern University, Boston, USA（东北大学）
本文提出双掩码自编码器DMAE，通过重建掩码值与教师引导的潜在表示估计及特征对齐约束，实现无监督多元时间序列表示学习，并在分类、回归和预测任务上取得优于基线方法的性能。
2025-09-19 cs.CV cs.LG
ODDObjects: A Framework for Multiclass Unsupervised Anomaly Detection on Masked Objects
University of British Columbia（不列颠哥伦比亚大学）
本文提出了一种新的框架，称为ODDObjects，它代表分布外检测对对象的屏蔽对象的无监督异常检测。ODDObjects旨在使用在COCO风格数据集上训练的无监督自动编码器来检测各种类别的异常。该方法利用基于自动编码器的图像重建，其中高重建误差指示异常的可能性。该框架扩展了先前使用自动编码器进行异常检测的工作，比较了在对象识别数据集上训练的最先进模型。比较了各种模型架构，实验结果表明，内存增强的深度卷积自动编码器在检测分布外对象方面表现最好。
2021-04-26 cs.AI cs.CV cs.LG
Efficient Variational Graph Autoencoders for Unsupervised Cross-domain Prerequisite Chains
Yale University（耶鲁大学）
先决条件链学习有助于人们有效地获取新知识。虽然人们可以快速确定一个领域中概念的学习路径，但在其他领域中找到这样的路径可能具有挑战性。我们引入了域对抗变分图自动编码器（DAVGAE）来有效地解决这个跨域先决条件链学习任务。我们的新模型由一个变分图自动编码器（VGAE）和一个域编码器。VGAE被训练为通过链接预测来预测概念关系，而领域标注器将源和目标领域数据作为输入并被训练为预测领域标签。最重要的是，该方法只需要简单的齐次图作为输入，与目前的最先进的模型相比。我们在LectureBankCD数据集上对我们的模型进行了评估，结果表明，我们的模型优于最近的基于图的基准测试，而仅使用1/10的图规模和1/3的计算时间。
2021-10-30 cs.CL cs.LG
Revisiting Adversarial Autoencoder for Unsupervised Word Translation with Cycle Consistency and Improved Training
Nanyang Technological University（南洋理工大学）；Salesforce Research Asia（赛富时亚洲研究院）
对抗训练在学习双语词典方面取得了令人印象深刻的成功，没有任何并行数据，通过将单语嵌入映射到共享空间。然而，最近的研究表明，非对抗性方法在更具挑战性的语言对中表现出更好的性能。在这项工作中，我们重新审视了用于无监督单词翻译的对抗自动编码器，并提出了两个新的扩展，以产生更稳定的训练和改进的结果。我们的方法包括正则化条款，以加强循环一致性和输入重建，并把目标编码器作为对手对相应的编码器。对欧洲、非欧洲和低资源语言的广泛实验表明，我们的方法比最近提出的对抗性和非对抗性方法更鲁棒，性能更好。
2019-04-04 cs.CL cs.LG stat.ML
Generalization Bounds For Unsupervised and Semi-Supervised Learning With Autoencoders
Viterbi Faculty of Electrical Engineering, Technion - Israel Institute of Technology（以色列理工学院维特比电气与电子工程学院）
自编码器广泛用于无监督学习和半监督学习中的正则化方案。然而，他们的泛化性能和他们可以帮助监督学习的方式的理论理解一直缺乏。我们利用深度学习泛化理论的最新进展，以及新的重建损失，为自动编码器提供泛化界。据我们所知，这是第一次这样的约束。我们进一步表明，在适当的假设下，具有良好泛化性能的自编码器可以改善任何半监督学习方案。我们支持我们的理论结果与实证证明。
2019-02-04 cs.LG stat.ML
Unsupervised Boosting-based Autoencoder Ensembles for Outlier Detection
George Mason University（乔治梅森大学）；Sapienza University of Rome（罗马第一大学）；University of L’Aquila（拉奎拉大学）
自编码器作为一种降维技术，近年来已被应用于离群点检测。然而，已知神经网络易受过拟合的影响，因此在无监督离群值检测设置中具有有限的潜力。目前基于集成的自动编码器的方法不能产生足够的多样性来避免过拟合问题。为了克服上述限制，我们开发了一种基于Boosting的自动编码器Encoder方法（简称BAE）。BAE是一种无监督的集成方法，与boosting方法类似，它构建了自适应级联的自动编码器，以实现改进和鲁棒的结果。BAE通过对数据进行加权采样来依次训练自动编码器组件，旨在减少训练期间使用的离群值数量，并在集合中注入多样性。我们进行了广泛的实验，并表明所提出的方法优于国家的最先进的方法在各种条件下。
2019-10-22 cs.LG stat.ML
A vector quantized masked autoencoder for speech emotion recognition
IETR UMR CNRS 6164（法国国家科学研究中心雷恩电子与电信研究所（UMR 6164））
针对语音情感识别标注数据不足的问题，提出在向量量化变分自编码器离散潜在空间中运行的自监督VQ-MAE-S模型，并证明其优于原始频谱图MAE及现有方法。
2023-04-21 cs.LG cs.SD eess.AS
Deep Autoencoders with Value-at-Risk Thresholding for Unsupervised Anomaly Detection
IBM Research -- Ireland（IBM研究院——爱尔兰）
许多现实世界的监控和监视应用程序需要在流模型中运行非平凡的异常检测。我们考虑了一种增量学习方法，其中训练了一个正常的深度自动编码（DAE）模型，并同时用于检测异常。在异常检测中，我们利用一种新的阈值机制，基于风险价值（VaR）。我们将得到的卷积神经网络（CNN）与一些子空间方法进行比较，并在Changedetection网络上给出结果。
2019-12-09 cs.CV cs.LG eess.IV
Deep Unsupervised Clustering Using Mixture of Autoencoders
University of Michigan（密歇根大学）；Technicolor（特艺集团）；Adobe（Adobe公司）
无监督聚类是机器学习中最基本的挑战之一。一个流行的假设是，数据是从一个低维非线性流形的联合产生的，因此聚类的方法是识别和分离这些流形。在本文中，我们提出了一种新的方法来解决这个问题，通过使用混合的自动编码器。我们的模型由两部分组成：1）一个自动编码器的集合，其中每个自动编码器学习一组相似对象的底层流形，以及2）混合分配神经网络，它将来自自动编码器的级联潜在向量作为输入并推断集群上的分布。通过联合优化这两个部分，我们同时将数据分配给集群并学习每个集群的底层流形。
2017-12-26 cs.LG stat.ML
LSTM VS. Feed-Forward Autoencoders for Unsupervised Fault Detection in Hydraulic Pumps
University of Alcalá（阿尔卡拉大学）
本文比较了LSTM与前馈自编码器在无监督液压泵故障检测中的性能，通过健康数据训练实现高可靠性故障识别。
2026-01-16 cs.LG
Hub-VAE: Unsupervised Hub-based Regularization of Variational Autoencoders
George Mason University（乔治梅森大学）
基于示例的方法依赖于信息数据点或原型来指导学习算法的优化。这些数据有助于可解释的模型设计和预测。特别感兴趣的是样本在学习无监督深度表示中的效用。在本文中，我们利用枢纽，出现在高维空间中的频繁邻居，作为范例来正则化变分自编码器，并学习无监督的下游任务的判别嵌入。我们提出了一个无监督的，数据驱动的正则化的潜在空间与基于枢纽的先验和基于枢纽的对比损失的混合。实验评估表明，我们的算法实现了卓越的聚类分离性的嵌入空间，准确的数据重建和生成，相比基线和国家的最先进的技术。
2022-11-18 cs.AI cs.LG
AutoEncoder Inspired Unsupervised Feature Selection
Peking University（北京大学）
在计算机视觉和机器学习任务等许多领域，高维数据给计算和分析带来了困难。特征选择是从观测到的特征中选择一个子集，是一种广泛使用的提高高维数据机器学习模型性能和有效性的方法。在本文中，我们提出了一种新的自动编码器特征选择（AEFS）的无监督特征选择结合自动编码器回归和组套索任务。与传统的特征选择方法相比，AEFS能够挖掘特征间的线性和非线性信息，从而选择出最重要的特征，比传统的自表示方法在无监督特征选择中只采用线性假设的情况下更加灵活。在基准数据集上的实验结果表明，该方法优于现有方法。
2018-04-09 cs.LG stat.ML
Symmetric Graph Convolutional Autoencoder for Unsupervised Graph Representation Learning
Seoul National University（首尔国立大学）；Hanyang University（汉阳大学）；University of Birmingham（伯明翰大学）
我们提出了一个对称图卷积自动编码器，它产生一个低维的潜在表示从一个图。与现有的具有非对称解码器部分的图自编码器相比，所提出的自编码器具有新设计的解码器，该解码器构建了完全对称的自编码器形式。对于节点特征的重建，解码器是基于拉普拉斯锐化作为拉普拉斯平滑的编码器的对应物而设计的，这允许在所提出的自动编码器架构的整个过程中利用图结构。为了防止引入Laplacian锐化所引起的网络数值不稳定性，我们进一步提出了一种新的数值稳定形式的Laplacian锐化，通过引入符号图。此外，一个新的成本函数，发现一个潜在的代表性和潜在的亲和力矩阵同时设计，以提高图像聚类任务的性能。在聚类、链接预测和可视化任务上的实验结果表明，该模型具有较好的稳定性，且性能优于现有的各种算法。
2019-08-07 cs.CV cs.LG stat.ML
Learning Product Codebooks using Vector Quantized Autoencoders for Image Retrieval
KTH Royal Institute of Technology（KTH皇家理工学院）
矢量量化变分自编码器（VQ-VAE）[1]通过结合矢量量化和自编码器，提供了一种用于学习离散表示的无监督模型。在本文中，我们研究了使用VQ-VAE表示学习的下游任务，如图像检索。我们首先描述的VQ-VAE的信息理论框架的背景下。我们表明，学习表示上的正则化项由训练前嵌入码本的大小决定，它影响模型的泛化能力。因此，我们引入了一个超参数来平衡矢量量化器的强度和重建误差。通过调整超参数，嵌入的瓶颈量化器被用作正则化器，其迫使编码器的输出共享受约束的编码空间，使得学习的潜在特征保持数据空间的相似性关系。此外，我们提供了一个搜索范围，找到最好的超参数。最后，我们将产品量化到VQ-VAE的瓶颈阶段，并提出了一个端到端的图像检索任务的无监督学习模型。乘积量化器具有生成大尺寸码本的优点。快速检索可以通过使用存储任何对子码字之间的距离的查找表来实现。最先进的检索结果是通过学习的码本实现的。
2019-03-04 cs.CV cs.LG eess.IV
S-HR-VQVAE: Sequential Hierarchical Residual Learning Vector Quantized Variational Autoencoder for Video Prediction
Norwegian University of Science and Technology（挪威科技大学）；Monash University（莫纳什大学）；Università degli Studi di Palermo（巴勒莫大学）
本文提出S-HR-VQVAE视频预测模型，结合层次残差向量量化变分自编码器与自回归时空预测模型，在四个基准上以更小模型规模取得优于最先进方法的性能。
2024-11-19 cs.AI cs.CV cs.LG
Squeezed Convolutional Variational AutoEncoder for Unsupervised Anomaly Detection in Edge Device Industrial Internet of Things
Seoul National University（首尔大学）；Samsung Electronics Co. Ltd.（三星电子株式会社）
在本文中，我们提出了压缩卷积变分自编码器（SCVAE），用于工业物联网（IIoT）边缘计算的时间序列数据中的异常检测。将该模型应用于UCI数据集的标记时间序列数据进行精确的性能评估，并应用于真实世界数据进行间接的模型性能比较。此外，通过比较应用来自SqueezeNet的Fire Modules之前和之后的模型，我们发现模型大小和推理时间都有所减少，同时保持了相似的性能水平。
2017-12-18 cs.LG
Unsupervised Multiple Domain Translation through Controlled Disentanglement in Variational Autoencoder
Le Mans University（勒芒大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出一种基于改进变分自编码器的无监督多域翻译方法，通过受控解耦两个潜变量使一个仅编码域信息、另一个编码其余变异因素，在多个视觉数据集上验证了其优于GAN类方法的性能，并证明了解耦的有效性。
2024-01-18 cs.CV cs.LG
Anomaly detection through latent space restoration using vector-quantized variational autoencoders
Imperial College London（帝国理工学院）
我们提出了一个分布外检测方法，结合密度和基于密度的方法，使用矢量量化变分自动编码器（VQ-VAE）。VQ-VAE模型学习在分类潜在空间中编码图像。潜码的先验分布，然后使用自回归（AR）模型建模。我们发现AR模型估计的先验概率对于无监督的异常检测是有用的，并且能够估计样本和像素异常分数。样本得分定义为潜在变量的负对数似然高于选择高度不可能的代码的阈值。此外，通过用来自先验模型的样本替换不太可能的潜在代码并解码到像素空间，将分布外图像恢复为分布内图像。生成的异常与原始图像之间的平均L1距离被用作逐像素异常分数。我们在MOOD挑战数据集上测试了我们的方法，并报告了与基于VAE的标准重建方法相比更高的准确性。
2020-12-12 cs.CV cs.LG eess.IV
Unsupervised seismic facies classification using deep convolutional autoencoder
School of Earth and Planetary Sciences（地球与行星科学学院）；Curtin University（科廷大学）；Oil and Gas Innovation Centre（油气创新中心）
随着地震勘测的规模和复杂性的增加，地震相的手动标记已成为一个重大挑战。应用自动化方法进行地震相解释可以显著减少传统方法中的人工劳动和特定解释者的主观性。最近出现的一组方法基于深度神经网络。这些方法是数据驱动的，需要大型标记数据集进行网络训练。我们将深度卷积自动编码器应用于无监督地震相分类，这不需要手动标记的示例。通过对从输入数据获得的深度特征向量进行聚类来生成相图。我们的方法在实际数据上产生准确的结果，并即时提供。所提出的方法开辟了在没有人为干预的情况下实时分析地质模式的可能性。
2020-08-05 cs.CV cs.LG eess.IV
Disentangled Representation Learning with Information Maximizing Autoencoder
University of Southern Queensland（南昆士兰大学）
从任何未标记的数据中学习解纠缠表示是一个重要的问题。在本文中，我们提出了信息最大化自动编码器（InfoAE），编码器学习强大的解开表示通过最大化之间的互信息的表示和给定的信息在一个无监督的方式。我们已经在MNIST数据集上评估了我们的模型，并在使用完全无监督训练时达到了98.9（$\pm .1$）$\%$测试准确率。
2019-04-18 cs.CV cs.LG stat.ML
Disentanglement with Factor Quantized Variational Autoencoders
Department of Mathematics and Computer Science, University of Southern Denmark（数学与计算机科学系，丹麦南部大学）；Department of Computer Engineering, Istanbul Technical University（计算机工程系，伊斯坦布尔技术大学）；Department of AI and Data Engineering, Istanbul Technical University（人工智能与数据工程系，伊斯坦布尔技术大学）
本文提出FactorQVAE，通过全局码本标量量化和总相关归纳偏置，将离散表示学习与解耦优化结合，在DCI和InfoMEC指标上优于现有解耦方法并提升重建性能。
2025-11-05 cs.CV cs.LG
Unsupervised Domain Adaptation for Robust Speech Recognition via Variational Autoencoder-Based Data Augmentation
Massachusetts Institute of Technology（麻省理工学院）
在许多机器学习场景中，训练和测试之间的域不匹配可能导致性能显著下降。不幸的是，对于实际应用中的自动语音识别部署，这种情况并不罕见。鲁棒语音识别的研究可以被看作是试图克服这个域失配问题。在本文中，我们解决了鲁棒语音识别的无监督领域自适应问题，其中源和目标域的语音，但单词成绩单只适用于源域语音。我们提出了新的增强为基础的方法，转换语音的方式，不改变成绩单。具体来说，我们首先训练一个变分自编码器的源和目标域数据（没有监督）学习语音的潜在表示。然后，我们通过修改潜在表示来变换与识别无关的语音的讨厌属性，以便用分布更类似于目标域的附加数据来增强标记的训练数据。在CHiME-4数据集上对所提出的方法进行了评估，与非适应基线相比，该方法将绝对字出错率（WER）降低了35%。
2017-09-22 cs.CL cs.LG
Unsupervised Time-Series Signal Analysis with Autoencoders and Vision Transformers: A Review of Architectures and Applications
The University of Akron（阿克伦大学）
本文综述了自编码器与视觉Transformer在无监督时间序列信号分析中的架构、应用及趋势，指出混合架构与自监督学习的优势，并总结可解释性、可扩展性和领域泛化等挑战，为信号智能模型发展提供路线图。
2025-06-02 cs.AI cs.CV cs.LG
Deep Autoencoders for Unsupervised Anomaly Detection in Wildfire Prediction
School of Aerospace, Transport and Manufacturing, Cranfield University（克兰菲尔德大学航空航天、运输与制造学院）；Spire Global, Inc.（Spire全球公司）
本研究提出基于深度自编码器的两种无监督异常检测方法用于野火预测，利用澳大利亚2005-2021年气象数据，发现全连接自编码器在无标签情况下表现最佳，准确率达0.71。
2024-11-14 cs.AI cs.LG
Theory and Experiments on Vector Quantized Autoencoders
Google（谷歌）
具有离散潜变量的深度神经网络提供了更好的符号推理和学习对新任务更有用的抽象的承诺。人们对离散潜变量模型的兴趣激增，然而，尽管最近有一些改进，离散潜变量模型的训练仍然具有挑战性，其性能大多无法与连续模型相匹配。最近关于矢量量化自动编码器（VQ-VAE）的工作在这个方向上取得了实质性的进展，其复杂度几乎与CIFAR-10等数据集上的VAE相匹配。在这项工作中，我们研究了VQ-VAE的另一种训练技术，其灵感来自于它与期望最大化（EM）算法的联系。使用EM训练离散瓶颈有助于我们在CIFAR-10上实现更好的图像生成结果，并与知识蒸馏一起，使我们能够开发一种非自回归机器翻译模型，其准确性几乎与强贪婪自回归基线Transformer相匹配，同时推理速度快3.3倍。
2018-07-20 cs.LG stat.ML
Unsupervised Audiovisual Synthesis via Exemplar Autoencoders
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种无监督的方法，将任何个人的输入语音转换为潜在的无限多个输出扬声器的视听流。我们的方法建立在简单的自动编码器上，将样本外数据投影到训练集的分布上。我们使用Exemplar自动编码器来学习特定目标范例语音的语音，文体韵律和视觉外观。与现有方法相比，所提出的方法可以容易地扩展到任意大数量的扬声器和风格，仅使用3分钟的目标音频-视频数据，而不需要输入扬声器的{ \em任何}训练数据。要做到这一点，我们学习视听瓶颈表示，捕捉语音的结构化语言内容。我们在音频和视频合成方面优于以前的方法，并在我们的项目页面上提供了广泛的定性分析-https://www.cs.cmu.edu/~exemplar-ae/。
2021-07-03 cs.CV cs.LG cs.MM
Early Fault Detection on CMAPSS with Unsupervised LSTM Autoencoders
University of Alcalá（阿尔卡拉大学）
本文提出基于无监督LSTM自编码器的CMAPSS早期故障检测方法，通过数据归一化和自适应阈值实现实时预警，提升故障检测的准确性和实用性。
2026-01-15 cs.LG
Quantized Non-Volatile Nanomagnetic Synapse based Autoencoder for Efficient Unsupervised Network Anomaly Detection
Virginia Commonwealth University（弗吉尼亚联邦大学）
针对边缘设备实现自编码器异常检测的硬件资源限制问题，提出基于铁磁赛道磁畴壁突触的5态量化自编码器，通过硬件感知训练提升性能并减少权重更新，推动节能边缘实时检测处理器发展。
2023-09-12 cond-mat.mes-hall cs.LG cs.NE
Unsupervised Clustering of Roman Potsherds via Variational Autoencoders
University of Cambridge（剑桥大学）
在本文中，我们提出了一个人工智能成像解决方案，以支持考古学家在罗马陶器碎片的分类任务。通常，每个陶片都以其截面轮廓作为二维的黑白图像来表示，并印刷在与特定考古发掘相关的考古书籍中。片段的随机和手工方差使得它们的匹配成为一个具有挑战性的问题：我们建议通过在深度卷积变分自编码器（VAE）网络的潜在空间中学习的非线性特征的无监督分层聚类来配对相似的配置文件。我们的贡献还包括创建一个罗马陶瓷（ROCOPOT）数据库，从25个罗马陶器语料库中提取了4000多个陶片配置文件，以及一个MATLAB GUI软件，用于轻松检查形状相似性。从数学和考古学的角度对结果进行了评论，以便在两个社区中解锁新的研究方向。
2022-03-14 cs.AI cs.CV cs.DB
Quorum: Zero-Training Unsupervised Anomaly Detection using Quantum Autoencoders
Rice University（莱斯大学）；Stanford University（斯坦福大学）
针对量子机器学习模型训练困难及异常检测需无监督方法的问题，提出首个无需训练的无监督量子异常检测框架Quorum，利用量子计算解决多行业关键异常检测挑战。
2025-04-17 cs.ET cs.LG
Unsupervised Multimodal Language Representations using Convolutional Autoencoders
Institute of Informatics \& Telecommunications, NCSR - Demokritos, Greece
多模态语言分析是一个要求很高的研究领域，因为它与两个要求相关联：组合不同的模态和捕获时间信息。在过去的几年里，已经提出了一些工作在该领域，主要集中在下游任务的监督学习。在本文中，我们提出提取无监督的多模态语言表示，是通用的，可以应用于不同的任务。为此，我们将单词级对齐的多模态序列映射到2-D矩阵，然后使用卷积自动编码器通过组合多个数据集来学习嵌入。对情感分析（MOSEI）和情感识别（IEMOCAP）的大量实验表明，学习的表示可以实现接近最先进的性能，只需使用逻辑回归算法进行下游分类。它还表明，我们的方法是非常轻量级的，可以很容易地推广到其他任务和看不见的数据，小的性能下降和几乎相同数量的参数。拟议的多模态表示模型是开源的，将有助于提高多模态语言的适用性。
2022-01-07 cs.CL cs.LG cs.MM
Anomalous Sound Detection using unsupervised and semi-supervised autoencoders and gammatone audio representation
Visualfy（维苏阿尔公司）
异常音检测是当前机器听力领域的热门课题之一。无监督检测由于其在许多领域的直接适用性而引起了人们的极大兴趣。例如，在工业过程中，机器故障或损坏的早期检测可能意味着工业过程效率的巨大节省和提高。这个问题可以通过无监督的ASD解决方案来解决，因为工业机器不会仅仅因为在训练阶段具有此音频数据而损坏。本文提出了一种基于卷积自编码器（无监督和半监督）和基于Gammatone的音频表示的新框架。通过这些架构获得的结果大大超过了作为基线呈现的结果。
2020-06-27 cs.LG cs.SD eess.AS
Hierarchical Vector Quantized Graph Autoencoder with Annealing-Based Code Selection
East China Normal University（华东师范大学）
针对现有图自监督学习依赖扰动易破坏信息、VQ-VAE在图数据应用不足的问题，本文分析向量量化对图自编码器的增强作用，提出退火编码策略和分层码本解决码本利用率低等挑战，模型在链路预测和节点分类任务中优于16种基线方法。
2025-04-17 cs.LG
Patch-aware Vector Quantized Codebook Learning for Unsupervised Visual Defect Detection
Samsung Display America Lab（三星显示美国实验室）
针对无监督视觉缺陷检测中表征能力与紧凑性难平衡的问题，提出引入patch感知动态码分配的增强VQ-VAE框架，优化空间表征以提升检测精度，在多个数据集上达SOTA性能。
2025-01-15 cs.AI cs.CV cs.LG
Data Augmentation by AutoEncoders for Unsupervised Anomaly Detection
本文提出了一种自动编码器（AE），用于提高一次类分类器的性能，以检测异常。传统的一类分类器（OCC）在高维和稀疏等特定条件下表现不佳。此外，训练集的大小对单类分类器的性能起着重要的作用。自编码器已被广泛用于从高维数据集获取有用的潜在变量。在所提出的方法中，AE能够从高维数据集中获得有意义的特征，同时进行数据增强。增广的数据用于训练OCC算法。实验结果表明，该方法提高了OCC算法的性能，也优于其他知名的方法。
2019-12-21 cs.LG stat.ML
Context-encoding Variational Autoencoder for Unsupervised Anomaly Detection
German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ））
无监督学习可以利用大规模数据源，而无需注释。在这种背景下，基于深度学习的自动编码器在检测医学图像中的异常方面显示出巨大的潜力。然而，国家的最先进的异常分数仍然是基于重建错误，这缺乏在两个重要部分：它忽略了模型内部表示重建，它缺乏正式的断言和样本之间的可比性。我们通过提出上下文编码变分自编码器（ceVAE）来解决这些缺点，该上下文编码器将重建与基于密度的异常评分相结合。这改善了样本以及像素方面的结果。在我们对BraTS-2017和ISLES-2015分割基准的实验中，ceVAE分别实现了0.95和0.89的无监督ROC-AUC，从而大大优于最先进的方法。
2018-12-14 cs.LG stat.ML
Attention and Autoencoder Hybrid Model for Unsupervised Online Anomaly Detection
Shiraz University（设拉子大学）
本文提出一种结合注意力机制与自编码器的混合模型，用于时间序列无监督在线异常检测，通过潜在空间预测及误差一阶统计矩分析提升检测准确率。
2024-01-06 cs.AI cs.LG eess.SP
Graph Autoencoder-Based Unsupervised Feature Selection with Broad and Local Data Structure Preservation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
特征选择是一种降维技术，通过消除不相关和冗余的特征，从高维数据中选择代表性特征的子集。近年来，结合稀疏学习的特征选择方法因其相对于传统的忽略特征间相关性的特征选择方法的优异性能而受到广泛关注。这些工作首先将数据映射到一个低维子空间，然后通过对变换矩阵施加稀疏约束来选择特征。然而，它们被设计限制为线性数据变换，这是一个潜在的缺点，因为数据的底层相关结构通常是非线性的。为了利用更复杂的嵌入，我们提出了一种基于自动编码器的无监督特征选择方法，该方法利用单层自动编码器来实现特征选择和流形学习的联合框架。更具体地说，我们在连接输入层和隐藏层的权重矩阵上强制执行列稀疏性，就像以前的工作一样。此外，我们将投影数据的谱图分析纳入学习过程，以实现从原始数据空间到低维特征空间的局部数据几何保持。对图像、音频、文本和生物数据进行了广泛的实验。实验结果验证了该方法的优越性。
2018-04-21 cs.CV cs.LG stat.ML
Augmenting Variational Autoencoders with Sparse Labels: A Unified Framework for Unsupervised, Semi-(un)supervised, and Supervised Learning
Relayr (GmbH)（Relayr有限公司）
我们提出了一种新的风格的变分自编码器（VAE），无监督，半监督和全监督学习域之间无缝插值。我们表明，未标记的数据点不仅可以提高无监督任务，而且可以提高分类性能。反之亦然，每个标签不仅可以改进分类，还可以改进无监督任务。所提出的架构很简单：分类层连接到最顶层的编码器层，然后与解码器的重采样潜在层相结合。通常的证据下限（ELBO）损失补充了该分类层上的监督损失目标，仅适用于标记的数据点。这种简单性允许以最小的努力将任何现有的VAE模型扩展到我们提出的半监督框架。在分类的背景下，我们发现这种方法甚至优于直接监督设置。
2019-11-14 cs.AI cs.LG cs.NE
Unsupervised Feature Selection via Robust Autoencoder and Adaptive Graph Learning
Department of Sociology University of California, Davis, California, USA（加州大学戴维斯分校社会学系）
本文提出RAEUFS模型，通过深度自编码器学习非线性特征表示并提高对异常值的鲁棒性，实验表明其在清洁和异常值污染数据中均优于现有方法。
2026-03-19 cs.LG stat.ML
Deep Dense and Convolutional Autoencoders for Unsupervised Anomaly Detection in Machine Condition Sounds
CCG ZGDV Institute（CCG ZGDV研究所）；Bosch Car Multimedia, Portugal（博世汽车多媒体（葡萄牙）公司）
本技术报告描述了为DCASE 2020挑战任务2开发的两种方法。挑战涉及到无监督学习来检测异常声音，因此在训练过程中只有正常的机器工作条件样本可用。这两种方法涉及深度自动编码器，基于使用melspectogram处理的声音特征的密集和卷积架构。使用挑战的六种机器类型数据集进行实验。总体而言，所提出的密集和卷积AE实现了具有竞争力的结果，优于基线挑战方法。
2020-06-19 cs.LG cs.SD eess.AS
