Cloud Model Characteristic Function Auto-Encoder: Integrating Cloud Model Theory with MMD Regularization for Enhanced Generative Modeling
提出云模型特征函数自编码器（CMCFAE），将云模型先验与MMD正则化集成于WAE框架，提升重建质量、潜在空间结构和样本多样性，在多个数据集上优于现有模型。
2025-08-06 cs.AI cs.LG
Saturating Auto-Encoders
Courant Institute of Mathematical Science（库朗数学科学研究所）；New York University（纽约大学）
我们介绍了一个简单的新的自动编码器，其隐藏单元激活函数包含至少一个零梯度（饱和）区域的正则化。该正则化子明确地鼓励在对应的激活函数的饱和区域中的激活。我们称之为饱和自动编码器（SATAE）。我们表明，饱和正则化显式限制了SATAE的能力，重建输入附近的数据流形。此外，我们表明，各种各样的功能可以学习时，使用不同的激活函数。最后，与压缩和稀疏自动编码器建立连接。
2013-03-20 cs.LG
Variational Graph Normalized Auto-Encoders
链接预测是图结构数据的关键问题之一。随着图神经网络的发展，图自编码器（GAE）和变分图自编码器（VGAE）被提出来以无监督的方式学习图嵌入。结果表明，这些方法对于链接预测任务是有效的。然而，当度为零的节点（即，孤立节点）。我们发现，GAE/VGAE使孤立节点的嵌入接近于零，而不管它们的内容特征。在本文中，我们提出了一种新的变分图规范化自动编码器（VGNAE），利用L2-规范化，以获得更好的嵌入孤立的节点。我们表明，我们的VGNAE优于现有的国家的最先进的模型的链接预测任务。该代码可在https://github.com/SeongJinAhn/VGNAE上获得。
2021-09-12 cs.AI cs.LG
Relating graph auto-encoders to linear models
University of Tübingen（图宾根大学）
本文证明图自编码器的解空间是线性映射解空间的子集，指出节点特征而非编码器非线性才是更强的归纳偏置，并通过实验表明使用特征信息时线性编码器可优于非线性编码器。
2023-11-30 cs.LG
Learning Network Representations with Disentangled Graph Auto-Encoder
School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）
本文提出解耦图自动编码器（DGA）和解耦变分图自动编码器（DVGA），通过多通道消息传递和独立性约束学习解耦图表示，在合成与真实数据集上优于现有基线。
2024-07-16 cs.AI cs.LG stat.ML
Rate-Distortion Auto-Encoders
University of Florida（佛罗里达大学）
最近关于深度学习的研究激发了人们对自动编码算法的兴趣。当前的努力已经指向具有大量编码单元的自动编码器架构的有效训练。在这里，我们提出了一种学习算法的自动编码器的基础上的率失真的目标，最大限度地减少互信息之间的输入和输出的自动编码器受到保真度约束。我们的目标是学习一种表示，这种表示对输入数据的贡献最小，但又足够丰富，可以在一定程度的失真下重建输入。最小化互信息充当正则化项，而保真度约束可以被理解为常规统计学习设置中的风险函数。该算法使用了最近推出的熵的无限可分矩阵的基础上，避免了插件估计的密度。使用过完备基的实验表明，率失真自动编码器可以以隐式方式学习正则化的输入输出映射。
2014-04-17 cs.LG
Auto-Encoder based Co-Training Multi-View Representation Learning
China University of Petroleum（中国石油大学）
多视图学习是一种利用对象的各种表示来挖掘有价值的知识和提高学习算法性能的学习问题，而子空间学习是多视图学习的一个重要方向。自动编码器是一种深度学习方法，它通过重构输入数据来学习原始数据的潜在特征，在此基础上，提出了一种基于自动编码器的协同训练多视图学习（Automo-encoder based Co-training Multi-View Learning，ACMVL）算法，该算法利用互补性和一致性，找到多视图的联合潜在特征表示。该算法分为两个阶段，第一阶段是训练每个视图的自动编码器，第二阶段是训练一个监督网络。有趣的是，这两个阶段共享部分权重，并通过共同训练过程相互帮助。实验结果表明，该方法可以学习到性能良好的潜在特征表示，并且每个视图的自动编码器比传统的自动编码器具有更强的重构能力。
2022-01-09 cs.LG
On the Latent Space of Wasserstein Auto-Encoders
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）
我们研究了潜在的空间维度在Wasserstein自动编码器（WAE）中的作用。通过对合成数据集和真实数据集的实验，我们认为随机编码器应该优于确定性编码器。我们强调了WAE的代表性学习的潜力，并在基准解纠缠任务上取得了令人鼓舞的结果。
2018-02-11 cs.LG stat.ML
Information Theoretic-Learning Auto-Encoder
University of Florida（佛罗里达大学）
提出了神经网络变分正则化的信息理论学习（ITL）发散测度。我们还探索了ITL正则化自编码器作为变分自编码贝叶斯，对抗性自编码器和生成对抗网络的替代方案，用于随机生成样本数据，而无需显式定义分区函数。本文还形式化，生成矩匹配网络下的ITL框架。
2016-03-22 cs.LG
Differential Informed Auto-Encoder
该研究提出微分信息自编码器，结合编码器提取微分方程结构与解码器重采样，并借助物理信息神经网络生成保持原数据微分结构的新数据。
2024-10-24 cs.LG
Conservativeness of untied auto-encoders
Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；University of Montreal（蒙特利尔大学）；HEC Montreal（蒙特利尔高等商学院）
我们讨论了一个自动编码器定义一个保守的向量场，在这种情况下，它是与一个能量函数类似的数据的非归一化对数概率的必要条件和充分条件。我们证明了保守性的条件比编码器和解码器权重相同（“捆绑权重”）更一般，并且它们还取决于隐藏单元激活函数的形式，但是收缩训练标准（如去噪）将局部执行这些条件。基于这些观察，我们展示了如何使用自动编码器来提取向量场的保守分量。
2015-09-21 cs.LG
Training Auto-encoders Effectively via Eliminating Task-irrelevant Input Variables
Huazhong University of Science & Technology（华中科技大学）；China Three Gorges University（三峡大学）；Wuhan Polytechnic University（武汉轻工大学）；Wuhan University（武汉大学）；University of Edinburgh（爱丁堡大学）
自动编码器通常被用作深度网络分类器的构建块来学习特征提取器，但是输入数据中的任务无关信息可能导致不良提取器并导致网络的泛化性能差。本文提出了一种基于重要性的变量选择方法，该方法首先估计变量的重要性，然后对重要性值小于阈值的变量进行丢弃，以发现并丢弃与任务无关的输入变量，从而显著提高自动编码器的性能。为了获得更好的性能，该方法可以用于堆叠的自动编码器的每一层。实验结果表明，当与我们的方法相结合时，堆叠去噪自动编码器在三个具有挑战性的数据集上实现了显着提高的性能。
2016-05-31 cs.LG
Local Distance Preserving Auto-encoders using Continuous k-Nearest Neighbours Graphs
Volkswagen Group（大众集团）
在表示学习中，保持数据相似性的自动编码器模型是一种流行的工具。在本文中，我们介绍了几个自动编码器模型，保持本地距离时，从数据空间映射到潜在的空间。我们使用一个本地的距离保持损失，是基于连续的k-最近的邻居图，这是已知的捕捉拓扑特征，在所有尺度上同时。为了提高训练性能，我们将学习制定为约束优化问题，以局部距离保持为主要目标，重建精度为约束。我们将这种方法推广到分层变分自动编码器，从而学习具有几何一致的潜在和数据空间的生成模型。我们的方法在几个标准数据集和评估指标上提供了最先进的性能。
2022-09-30 cs.LG
Clustering and Unsupervised Anomaly Detection with L2 Normalized Deep Auto-Encoder Representations
Nokia Technologies（诺基亚技术）
聚类对于模式识别和计算机视觉中的许多任务都是必不可少的。随着深度学习的出现，人们对学习用于聚类分析的深度无监督表示越来越感兴趣。这个领域的许多作品依赖于自动编码器的变体，并使用编码器输出作为聚类的表示/特征。在本文中，我们证明了在自动编码器训练期间对这些表示的l2归一化约束，使得训练后的表示在欧几里得空间中更加可分离和紧凑。这大大提高了聚类的准确性时，k均值聚类的表示。我们还提出了一种基于聚类的无监督异常检测方法，使用l2归一化深度自动编码器表示。我们显示了l2归一化对异常检测精度的影响。我们进一步表明，所提出的异常检测方法大大提高了准确性相比，以前提出的深层方法，如基于重建误差的异常检测。
2018-02-01 cs.LG
Scoring and Classifying with Gated Auto-encoders
University of Guelph（圭尔夫大学）
自动编码器可能是表示学习最著名的非概率方法。它们在概念上很简单，并且易于训练。最近的理论工作揭示了他们捕捉流形结构的能力，并与密度建模建立了联系。这促使研究人员寻求自动编码器评分的方法，这进一步促进了它们在分类中的应用。门控自动编码器（GAE）是自动编码器的一个有趣而灵活的扩展，它可以学习不同图像之间的变换或图像内的像素协方差。然而，无论是理论上还是实证上，对它们的研究都要少得多。在这项工作中，我们应用动力系统的观点GAE，推导出一个评分函数，并绘制连接到限制玻尔兹曼机。在一组深度学习基准测试中，我们还展示了它们对单标签和多标签分类的有效性。
2015-06-15 cs.LG cs.NE
Auto-encoders: reconstruction versus compression
我们讨论了训练自动编码器以最小化重建误差和训练同一个自动编码器通过生成模型压缩数据之间的相似性和差异。使用自动编码器最小化数据的码长相当于最小化重构误差加上一些校正项，这些校正项具有解码函数的去噪或收缩特性的解释。这些术语与去噪或收缩自动编码器中使用的术语相关但不相同[Vincent et al. 2010，Rifai et al. 2011]。特别地，码长观点完全确定去噪标准的最佳噪声水平。
2015-01-23 cs.IT cs.LG cs.NE
Mixture Model Auto-Encoders: Deep Clustering through Dictionary Learning
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
用于对高维数据进行聚类的最新方法利用深度自动编码器架构。由于自动编码器的黑盒性质，这些网络中的许多网络需要大量的参数，并且缺乏可解释性。我们介绍了混合模型自动编码器（MixMate），一种新的架构，通过对生成模型进行推理来聚类数据。从稀疏字典学习和混合模型的角度来看，MixMate包括几个自动编码器，每个编码器的任务是在不同的集群中重建数据，同时在潜在空间中实施稀疏性。通过对各种图像数据集的实验，我们表明，与最先进的深度聚类算法相比，MixMate实现了具有竞争力的性能，同时使用了数量级更少的参数。
2022-02-25 cs.LG eess.SP
Creation of a Deep Convolutional Auto-Encoder in Caffe
本文介绍了在Caffe深度学习框架中开发深度（堆叠）卷积自动编码器。我们描述了我们用来在Caffe中创建这个模型的简单原则。所提出的卷积自动编码器模型还没有池化/解池化层。我们的实验研究的结果表明，与经典的自动编码器相比，MNIST数据集的例子的降维精度相当。
2016-04-22 cs.CV cs.LG cs.NE
What Regularized Auto-Encoders Learn from the Data Generating Distribution
University of Montreal（蒙特利尔大学）
自动编码器了解底层数据生成分布的哪些信息？最近的工作表明，一些自动编码器变体在捕获数据的局部流形结构方面做得很好。本文澄清了一些这些以前的观察，通过显示，最小化一个特定形式的正则化重建误差产生一个重建函数，局部特征的数据生成密度的形状。我们表明，自动编码器捕获的分数（相对于输入的对数密度的衍生物）。这与以前将重建误差解释为能量函数相矛盾。与以前的结果不同，这里提供的定理是完全通用的，并且不依赖于自动编码器的参数化：它们显示了如果给定足够的容量和示例，自动编码器会倾向于什么。这些结果是针对收缩训练标准的，我们表明其类似于具有小腐败噪声的去噪自动编码器训练标准，但是收缩应用于整个重建函数而不仅仅是编码器。与分数匹配类似，可以将所提出的训练标准视为最大似然的方便替代方案，因为它不涉及分区函数。最后，我们展示了如何近似的大都会黑斯廷斯MCMC可以设置从估计的分布中恢复样本，这在采样实验中得到了证实。
2014-08-19 cs.LG stat.ML
Wasserstein Auto-Encoders
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Brain（谷歌大脑）
我们提出了Wasserstein自动编码器（WAE）-一种新的算法，用于建立数据分布的生成模型。WAE最小化模型分布和目标分布之间的瓦瑟斯坦距离的惩罚形式，这导致与变分自动编码器（VAE）所使用的正则化器不同的正则化器。这个正则化器鼓励编码的训练分布与先验匹配。我们比较我们的算法与其他几种技术，并表明它是一个泛化的对抗性自动编码器（AAE）。我们的实验表明，WAE共享VAE的许多属性（稳定的训练，编码器-解码器架构，良好的潜在流形结构），同时生成更好质量的样本，如FID分数所衡量的。
2019-12-05 cs.LG stat.ML
Implicit Density Estimation by Local Moment Matching to Sample from Auto-Encoders
University of Montreal（蒙特利尔大学）
最近的工作表明，一些自动编码器变体在捕获未知数据生成密度的局部流形结构方面做得很好。本文有助于从数学上理解这一现象，并有助于基于自动编码器变体为深度学习定义更合理的采样算法。我们考虑MCMC，其中每个步骤从高斯采样，其均值和协方差矩阵取决于先前的状态，通过其渐近分布定义目标密度。首先，我们证明了这些均值和协方差函数的良好选择（在一致性的意义上）是该目标密度下的局部期望值和协方差。然后，我们表明，一个压缩惩罚的自动编码器捕获这些局部矩在其重建函数和雅可比矩阵的估计。因此，这项工作的贡献是一种新的替代最大似然密度估计，我们称之为本地矩匹配。它还证明了最近提出的压缩自动编码器的采样算法，并将其扩展到去噪自动编码器。
2012-06-30 cs.LG stat.ML
Item Cold Start Recommendation via Adversarial Variational Auto-encoder Warm-up
Tencent News（腾讯新闻）
随机初始化的项目ID嵌入和经过良好训练的暖项目ID嵌入之间的差距使得冷项目难以适应推荐系统，该推荐系统是在历史暖项目数据上训练的。为了缓解新项目推荐的性能下降，新项目ID嵌入的分布应该接近历史热门项目的分布。为了实现这一目标，我们提出了一个对抗变分自动编码器预热模型（AVAEW）来为冷项生成预热项ID嵌入。具体来说，我们开发了一个条件变分自动编码器模型，以利用项目的边信息来生成预热项目ID嵌入。特别是，我们引入了一个对抗模块来加强热身项目ID嵌入分布和历史项目ID嵌入分布之间的对齐。我们通过在公开数据集上的大量离线实验和在真实世界的大规模新闻推荐平台上的在线A/B测试，证明了所提出的方法的有效性和兼容性。
2023-02-28 cs.AI cs.IR cs.LG
AutoDiff: combining Auto-encoder and Diffusion model for tabular data synthesizing
UCLA（加利福尼亚大学洛杉矶分校）；Meta
本文提出AutoDiff，结合自编码器与扩散模型合成表格数据，解决异质特征问题，在15个数据集上验证了统计保真度和下游任务性能，并有效捕捉特征相关性。
2023-11-17 cs.AI cs.LG stat.ML
Variational Graph Auto-Encoders
University of Amsterdam（阿姆斯特丹大学）；Canadian Institute for Advanced Research (CIFAR)（加拿大高级研究院）
我们介绍了变分图自动编码器（VGAE），一个基于变分自动编码器（VAE）的图结构数据无监督学习框架。该模型利用潜变量，能够学习无向图的可解释的潜表示。我们使用图卷积网络（GCN）编码器和一个简单的内积解码器来演示这个模型。我们的模型在引用网络中的链接预测任务上取得了有竞争力的结果。与大多数现有的对图结构数据和链接预测进行无监督学习的模型相比，我们的模型可以自然地包含节点特征，这显著提高了许多基准数据集的预测性能。
2016-11-21 cs.LG stat.ML
Scalable Convolutional Dictionary Learning with Constrained Recurrent Sparse Auto-encoders
Harvard University（哈佛大学）；Manifold AI（Manifold人工智能公司）
给定一组观测信号的卷积字典，精心设计的自动编码器能否在存在噪声的情况下恢复字典？我们引入了一个自动编码器架构，称为约束循环稀疏自动编码器（CRsAE），回答这个问题的肯定。给定输入信号和近似字典，编码器使用FISTA找到稀疏近似。解码器通过将字典应用于编码器的输出来重构信号。CRsAE中的编码器和解码器在用于字典学习的基于优化的交替最小化方案中并行稀疏编码和字典更新步骤。因此，编码器和解码器的参数不是独立的，这是我们第一次强制执行的约束。我们推导出反向传播算法CRsAE。CRsAE是一个盲声源分离的框架，只有知道源（字典元素）的数量，并假设稀疏-许多可以重叠，是能够分离它们。我们证明了它的实用程序的背景下，尖峰排序，计算神经科学中的声源分离问题。我们证明了CRsAE的能力，以恢复潜在的字典，并表征其灵敏度作为SNR的函数。
2018-07-12 cs.LG stat.ML
Towards Better Data Augmentation using Wasserstein Distance in Variational Auto-encoder
National University of Singapore（新加坡国立大学）；Singapore Management University（新加坡管理大学）
变分自动编码器（VAE）将数据压缩成潜在属性，并生成不同种类的新数据。基于KL散度的VAE被认为是一种有效的数据增强技术。在本文中，我们提出了使用Wasserstein距离作为潜在属性的分布相似性的度量，并显示其优越的理论下限（ELBO）相比，KL分歧在温和的条件下。通过多个实验，我们证明了新的损失函数具有更好的收敛性，并产生人工图像，可以更好地帮助图像分类任务。
2022-08-16 cs.LG
Unsupervised Hyperbolic Representation Learning via Message Passing Auto-Encoders
Seoul National University（首尔大学）；University of Birmingham（伯明翰大学）
大多数关于双曲嵌入的现有文献集中在监督学习上，而非监督双曲嵌入的使用则较少被探索。在本文中，我们分析了无监督任务如何从双曲空间中的学习表示中受益。为了探索如何以及未标记数据的层次结构可以表示在双曲空间中，我们设计了一种新的双曲消息传递自动编码器，其整体自动编码是在双曲空间中进行。该模型通过充分利用双曲几何的信息传递方式对网络进行自动编码。通过大量的定量和定性分析，我们验证了无监督双曲表示的性质和好处。代码可在https://github.com/junhocho/HGCAE上获得。
2021-03-30 cs.LG
Variational Auto-Encoder Architectures that Excel at Causal Inference
University of Alberta（阿尔伯塔大学）；Amii（阿尔伯塔机器智能研究所）
从观测数据（无论是在个人或群体水平上）估计因果效应对于做出许多类型的决策至关重要。解决这一任务的一种方法是学习数据底层因素的分解表示;当存在混淆因素（影响原因和结果）时，这变得更具挑战性。在本文中，我们采用了一种生成方法，该方法基于变分自动编码器的最新进展，同时学习这些潜在因素以及因果效应。我们提出了一个渐进的模型序列，每个模型都比前一个模型有所改进，最终形成混合模型。我们的实证结果表明，所有这三个模型的性能优于两个国家的最先进的歧视，以及其他生成方法在文献中。
2021-11-11 cs.AI cs.LG stat.ML
How Auto-Encoders Could Provide Credit Assignment in Deep Networks via Target Propagation
Université de Montréal（蒙特利尔大学）
我们建议利用{ \em重建}作为深度学习的层局部训练信号。重建可以以目标传播的形式传播，其起到类似于反向传播的作用，但有助于减少对导数的依赖，以便在可能的强非线性的许多级别上执行信用分配（这对于反向传播是困难的）。正则化自动编码器倾向于产生作为其输入的更可能版本的重构，即，向更高可能性方向的微小移动。通过概括梯度，目标传播还可以允许训练具有离散隐藏单元的深度网络。如果自动编码器在输入中采用输入和目标（或任何边信息）的表示，则其对输入表示的重构提供了朝向更可能的表示的目标，该表示以所有边信息为条件。深度自动编码器解码路径以学习的方式概括梯度传播，从而不仅可以处理无穷小的变化，而且可以处理更大的离散变化，希望允许通过非线性操作的长链进行信用分配。除了每一层都是一个很好的自动编码器之外，编码器还学会了通过将数据转换到一个更容易建模的空间，扁平化流形和解开因子来取悦上层。这种方法的动机和理论的理由是在本文中，连同将不得不被数学或实验验证，包括一个假设，说明这种自动编码器介导的目标传播可以在大脑中发挥的作用，信用分配通过许多非线性，噪声和离散的转换。
2014-09-18 cs.LG
Deep Denoising Auto-encoder for Statistical Speech Synthesis
McGill University（麦吉尔大学）；National Institute of Informatics（国立信息学研究所）
本文提出了一种深度去噪自动编码器技术，以提取更好的声学特征用于语音合成。该技术允许我们以非线性、数据驱动、无监督的方式从高维光谱特征中自动提取低维特征。我们比较了新的随机特征提取器与传统的梅尔倒谱分析在分析合成和文本到语音的实验。我们的研究结果证实，该方法提高了合成语音的质量在两个实验中。
2015-06-17 cs.LG cs.SD
Optimal Sparse Linear Auto-Encoders and Sparse PCA
Yahoo Labs（雅虎实验室）
主成分分析（PCA）是数据的最佳线性自动编码器，通常用于构造特征。在主成分上实施稀疏性可以促进更好的泛化，同时提高特征的可解释性。我们研究了构造最优稀疏线性自编码器的问题。在这样的设置中，两个自然的问题是：i）给定稀疏性水平，可以实现的PCA的最佳近似是什么？ii）是否有低阶多项式时间算法，可以渐近实现稀疏性和近似质量之间的最佳权衡？在这项工作中，我们回答了这两个问题，给出了有效的低阶多项式时间算法构造渐近\emph{optimal}线性自动编码器（特别是，稀疏功能与近PCA重建误差），并证明了我们的算法在真实数据上的性能。
2015-02-23 cs.AI cs.IT cs.LG
Image Representation Learning Using Graph Regularized Auto-Encoders
State Key Laboratory of Industrial Control and Technology（工业控制技术国家重点实验室）；Zhejiang University（浙江大学）
我们考虑了无监督学习和半监督学习任务的图像表示问题。在这些学习任务中，由于原始图像向量的特征空间高度密集，因此原始图像向量可能无法提供足够的内在结构表示。为了克服这个问题，原始图像向量应该被映射到一个合适的表示空间，该空间可以捕获原始数据的潜在结构，并显式地表示数据，以用于进一步的学习任务，如聚类。受近年来深度神经网络和表示学习研究的启发，本文将多层自动编码器引入图像表示中，并将局部不变的思想应用于图像的自动编码器表示中，提出了一种新的方法，称为图正则化自动编码器（GAE）。GAE可以提供一个紧凑的表示，揭示隐藏的语义，同时尊重内在的几何结构。大量的图像聚类实验表明，令人鼓舞的结果相比，国家的最先进的算法在现实世界的情况下，该算法。
2014-02-19 cs.LG
A new Sparse Auto-encoder based Framework using Grey Wolf Optimizer for Data Classification Problem
Istanbul Gedik University（伊斯坦布尔盖迪克大学）
深度自动编码器（DAE）最重要的属性之一是它们从行数据中提取高级特征的能力。因此，特别是最近，自动编码器被优选用于各种分类问题，如图像和话音识别，计算机安全，医疗数据分析等，尽管它的普及和高性能，自动编码器的训练阶段仍然是一个具有挑战性的任务，涉及到选择最佳参数，让模型接近最佳结果。不同的训练方法被应用于训练稀疏自编码器。以往的研究和初步实验表明，这些方法可能会在相同的问题，但也可以得到令人失望的结果，在其他复杂的问题。元启发式算法在过去的二十年中出现，并正在成为当代优化技术的重要组成部分。本文将灰狼优化算法应用于稀疏编码器的训练。该模型通过使用几个流行的基因表达数据库进行验证。结果与以前的国家的最先进的方法研究相同的数据集，也与其他流行的元启发式算法，即遗传算法（GA），粒子群优化（PSO）和人工蜂群（ABC）进行了比较。结果表明，使用GWO的训练模型的性能优于传统的模型和最流行的元启发式算法训练的模型。
2022-01-29 cs.AI cs.LG cs.NE
Effective Decoding in Graph Auto-Encoder using Triadic Closure
Hong Kong University of Science and Technology（香港科技大学）；Amazon（亚马逊）
（变分）图自动编码器及其变体已广泛用于图结构数据的表示学习。虽然编码器通常是强大的图卷积网络，但解码器通过一次仅考虑两个节点来重建图结构，从而忽略边缘之间可能的相互作用。另一方面，同时考虑整个图的结构化预测在计算上是昂贵的。在本文中，我们利用了著名的三元封闭性，这是在许多现实世界的网络。我们提出了三和弦解码器，它考虑和预测的三个边缘参与一个本地三和弦在一起。三元组解码器可以很容易地用于任何基于图形的自动编码器。特别是，我们将其纳入（变分）图自动编码器。在链接预测、节点聚类和图生成等方面的实验表明，使用三元组可以更准确地预测、聚类和更好地保持图的特征。
2019-11-26 cs.LG stat.ML
Barlow Graph Auto-Encoder for Unsupervised Network Embedding
Unite Network SE（Unite Network SE公司）；TU Munich（慕尼黑工业大学）
网络嵌入已成为网络分析的一个很有前途的研究领域。最近，一种名为Barlow Twins的方法被提出用于计算机视觉中的自监督学习，该方法通过将冗余减少原理应用于对应于两个失真版本的图像样本的嵌入向量。受此启发，我们提出了Barlow Graph Auto-Encoder，一个简单而有效的学习网络嵌入的架构。它的目的是最大限度地提高一个节点的直接和更大的邻域的嵌入向量之间的相似性，同时最小化这些投影的组件之间的冗余。此外，我们还提出了变异对应的巴洛变分图自动编码器。我们的方法产生了有前途的结果，归纳链接预测，并与国家的最先进的聚类和下游节点分类，证明了广泛的比较与几个知名的技术在三个基准引文数据集。
2022-12-13 cs.LG
Graph Attention Auto-Encoders
Arizona State University（亚利桑那州立大学）
自动编码器已经成为无监督学习的成功框架。然而，传统的自动编码器不能利用结构化数据中的显式关系。为了利用图结构数据中的关系，最近提出了几种图自动编码器，但它们忽略了重建图结构或节点属性。在本文中，我们提出了图形注意力自动编码器（GATE），一个神经网络架构的无监督表示学习的图形结构的数据。我们的架构是能够重建图形结构的输入，包括节点属性和图形结构，通过堆叠的编码器/解码器层配备自注意力机制。在编码器中，通过将节点属性视为初始节点表示，每个层通过关注其邻居的表示来生成节点的新表示。在解码器中，我们尝试逆编码过程来重构节点属性。此外，节点表示正则化，以重建图结构。我们提出的架构不需要预先知道图的结构，因此它可以应用于归纳学习。我们的实验表明，在几个节点分类基准数据集上，对于转换和归纳任务，我们的性能具有竞争力，在大多数情况下甚至超过了监督学习基线的性能。
2019-05-26 cs.LG cs.SI stat.ML
A Deep Convolutional Auto-Encoder with Pooling - Unpooling Layers in Caffe
本文介绍了Caffe深度学习框架中深度卷积自动编码器的几种模型的开发及其在MNIST数据集示例上的实验评估。我们已经创建了卷积自动编码器的五个模型，它们在架构上的不同之处在于自动编码器的编码器和解码器部分中是否存在池化和非池化层。我们的研究结果表明，开发的模型提供了很好的结果，在降维和无监督聚类任务，和小的分类错误时，我们使用学习的内部代码作为一个有监督的线性分类器和多层感知器的输入。最好的结果是由一个模型提供的，其中编码器部分包含卷积层和池化层，然后是一个类似的解码器部分，具有去卷积层和去池化层，而无需在解码器部分中使用开关变量。本文还讨论了在非常流行的Caffe深度学习框架中创建深度卷积自动编码器的实际细节。我们相信，本文中提出的方法和结果可以帮助其他研究人员在未来构建高效的深度神经网络架构。
2017-01-18 cs.CV cs.LG cs.NE
Cross-modal Variational Auto-encoder with Distributed Latent Spaces and Associators
Seoul National University（首尔大学）；Samsung SDS（三星SDS）；Samsung Research（三星研究院）
在本文中，我们提出了一种新的结构的跨模态数据关联，这是最近的研究大脑的联想学习结构的启发。我们在贝叶斯推理框架中制定了跨模态关联，该框架由具有多个变分自动编码器和变分关联器的深度神经网络实现。变分关联器在表示不同模态的自动编码器之间转移潜在空间。所提出的结构成功地关联，甚至异构模态数据，并很容易地将额外的模态通过建议的跨模态关联器到整个网络。此外，由于自动编码器可以通过无监督的方式进行训练，因此所提出的结构可以仅用少量的成对数据进行训练。通过实验，该结构的有效性进行了验证，在各种数据集，包括视觉和听觉数据。
2019-05-30 cs.LG stat.ML
Decoupling feature propagation from the design of graph auto-encoders
University of Cambridge（剑桥大学）
我们提出了两个实例，L-GAE和L-VGAE，变分图自动编码家族（VGAE）的基础上分离的特征传播操作从图卷积层通常发现在图学习方法的一个单一的线性矩阵计算之前，在标准的自动编码器架构的输入。这种解耦实现了自动编码器的独立和固定设计，而不需要针对节点的局部感受野的大小的每一个期望的增加而需要额外的GCN层。固定自动编码器能够更公平地评估建筑表示中节点感受野的大小。此外，修复自动编码器设计的副产品通常会导致网络比VGAE对应的网络小得多，特别是当我们增加特征传播的数量时。对链接预测任务的比较下游评估显示出与类似的VGAE布置相当的最新性能，尽管相当简化。我们还展示了我们的方法更具有挑战性的表示学习场景，如时空图表示学习的简单应用。
2019-10-18 cs.LG stat.ML
ID-Conditioned Auto-Encoder for Unsupervised Anomaly Detection
Samsung R\&D Institute Poland Artificial Intelligence Warsaw, Poland
在本文中，我们介绍了ID条件自动编码器的无监督异常检测。我们的方法是一个适应类条件自动编码器（C2AE）设计的开集识别。假设非异常样本由不同的ID组成，我们应用条件自动编码器，这些ID提供标签。相对于C2AE，我们的方法省略了分类子任务，并将学习过程减少到单次运行。我们通过固定一个常数向量作为不匹配标签的目标来进一步简化学习过程。我们将我们的方法应用于机器状态监测的声音的背景下。我们在DCASE 2020挑战任务2的ToyADMOS和MIMII数据集上评估了我们的方法。我们进行了一项消融研究，以表明我们的方法的哪些步骤对结果影响最大。
2020-09-08 cs.LG eess.AS
Unsupervised Star Galaxy Classification with Cascade Variational Auto-Encoder
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；The University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
天文学中数据量的不断增加给机器学习研究带来了巨大的挑战。以前，监督学习方法取得了令人满意的识别精度的恒星星系分类任务的基础上，手动标记的数据集。在这项工作中，我们提出了一种新的无监督的方法的恒星星系识别任务，即级联变分自动编码器（CasVAE）。我们的实证结果表明，我们的方法优于基线模型的准确性和稳定性。
2019-10-30 cs.LG stat.ML
Gradual training of deep denoising auto encoders
The Gonda Brain Research Center（贡达脑研究中心）；Bar Ilan University（巴伊兰大学）
众所周知，堆叠去噪自动编码器（DAE）可以学习有用的深度表示，可以通过初始化深度网络来改进监督训练。我们研究了一个深层DAE的训练方案，其中DAE层逐渐添加，并随着添加额外的层而不断适应。我们表明，在中等规模数据集的情况下，这种渐进式训练在MNIST和CIFAR数据集上的堆叠训练的重建质量和分类错误方面都比堆叠训练提供了小但一致的改进。
2014-12-19 cs.LG cs.NE
L2G Auto-encoder: Understanding Point Clouds by Local-to-Global Reconstruction with Hierarchical Self-Attention
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心）；University of Maryland（马里兰大学）
自动编码器是自重构点云数据编码和解码过程中理解点云数据的重要结构。目前的自动编码器主要关注于通过全局形状重构来学习全局结构，而忽略了对局部结构的学习。为了解决这个问题，我们提出了局部到全局自动编码器（L2 G-AE），通过局部到全局重建同时学习点云的局部和全局结构。具体地，L2 G-AE采用编码器来同时对局部区域中的多个尺度的几何信息进行编码。此外，我们还引入了一种新颖的分层自注意力机制，突出编码器信息聚合中不同层次的重要点、尺度和区域。同时，L2 G-AE采用递归神经网络（RNN）作为解码器，在局部区域中重建一系列尺度，在此基础上增量重建全局点云。我们在形状分类，检索和上采样方面的出色结果表明，L2 G-AE可以比最先进的方法更好地理解点云。
2019-08-02 cs.CV cs.LG
Denoising and feature extraction in photoemission spectra with variational auto-encoder neural networks
University of Virginia（弗吉尼亚大学）
近年来，不同的机器学习（ML）模型已分别用于从原始角分辨光电子能谱（ARPES）数据获得的能量-动量色散强度图的特征提取和降噪。在这项工作中，我们采用了一个浅层变分自动编码器（VAE）神经网络来展示使用ML进行ARPES色散图去噪和特征提取的前景。
2022-03-14 cond-mat.str-el cs.LG physics.ins-det
Improving auto-encoder novelty detection using channel attention and entropy minimization
Zhejiang University of Technology（浙江工业大学）；Tianjin University of Technology（天津理工大学）
新颖性检测是一个重要的研究领域，主要解决由正常样本组成的内点和由异常样本组成的离群点的分类问题。自动编码器常用于新颖性检测。然而，自动编码器的泛化能力可能会导致不期望的异常元素的重建，降低模型的识别能力。为了解决这一问题，本文从更好地重构正态样本以及保留正态样本的独特信息的角度出发，来提高自动编码器的新颖性检测性能。首先，我们将注意力机制引入到任务中。在注意力机制的作用下，自动编码器可以通过对抗训练来更加关注内点样本的表示。其次，我们将信息熵引入到潜在层中，使其稀疏化，并约束多样性的表达。在三个公开数据集上的实验结果表明，该方法与以前流行的方法相比，具有相当的性能。
2021-05-10 cs.CV cs.LG eess.IV
Reprogramming FairGANs with Variational Auto-Encoders: A New Transfer Learning Model
Sapienza University of Rome（罗马第一大学）；Bruno Kessler Foundation（布鲁诺·凯斯勒基金会）
公平感知GANs（FairGANs）利用生成对抗网络（GANs）的机制对生成的数据施加公平性，使它们免受不同的影响和不同的处理。鉴于该模型的优点和性能，我们引入了一个新的学习框架，将预训练的FairGAN转移到其他任务中。这个重新编程过程的目标是保持FairGAN的数据效用、分类效用和数据公平性的主要目标，同时扩大其适用性和易用性。在本文中，我们提出的技术扩展，以适应原来的架构，这个新的框架（特别是可变自动编码器的使用），并讨论的好处，权衡，和新模型的局限性。
2022-03-11 cs.LG
Fisher Auto-Encoders
Duke University（杜克大学）；University of Minnesota（明尼苏达大学）
它已被证实，费舍尔分歧是更强大的模型的不确定性比传统的Kullback-Leibler（KL）分歧。这激发了一类新的鲁棒生成式自动编码器（AE）的设计，称为Fisher自动编码器。我们的方法是通过最小化观测数据和潜变量的难处理的联合分布与假设/建模的联合分布之间的Fisher发散来设计Fisher AE。与基于KL的变分AE（VAE）相比，Fisher AE可以精确地量化真实和基于模型的后验分布之间的距离。提供了MNIST和celebA数据集的定性和定量结果，证明了Fisher AE与其他AE（如VAE和Wasserstein AE）相比在稳健性方面的竞争性能。
2020-10-23 cs.LG stat.ML
Training Deep Spiking Auto-encoders without Bursting or Dying Neurons through Regularization
Donders Institute for Brain, Cognition and Behaviour（唐德斯脑、认知与行为研究所）
脉冲神经网络是计算神经科学中下一代大脑模型的一种很有前途的方法。此外，与经典的人工神经网络相比，它们可以通过在专门的神经形态硬件中实现快速计算来作为AI的节能部署。然而，训练深度脉冲神经网络，特别是以无监督的方式，是具有挑战性的，并且脉冲模型的性能受到死亡或爆裂神经元的显著阻碍。在这里，我们将基于膜电位的反向传播的端到端学习应用于具有多个可训练层的泄漏积分和激发神经元的尖峰卷积自动编码器。我们提出了生物启发的正则化方法来控制潜在表示中的尖峰密度。在实验中，我们表明，对膜电位和尖峰输出应用正则化成功地避免了死亡和爆裂神经元，并显着降低了尖峰自动编码器的重建误差。在MNIST数据集上训练正则化网络产生的图像重建质量与非尖峰基线模型（确定性和变分自动编码器）相当，并表明对早期方法的改进。重要的是，我们表明，与变分自动编码器不同，尖峰潜在表示显示与图像类相关的结构。
2021-09-22 cs.LG cs.NE
Gradual Training Method for Denoising Auto Encoders
The Gonda Brain Research Center（贡达脑研究中心）；Bar Ilan University（巴伊兰大学）
众所周知，堆叠去噪自动编码器（DAE）可以学习有用的深度表示，可以通过初始化深度网络来改进监督训练。我们研究了一个深层DAE的训练方案，其中DAE层逐渐添加，并随着添加额外的层而不断适应。我们表明，在中等规模数据集的情况下，这种渐进式训练在MNIST和CIFAR数据集上的堆叠训练的重建质量和分类错误方面都比堆叠训练提供了小但一致的改进。
2015-04-11 cs.LG cs.NE
CoT-MAE v2: Contextual Masked Auto-Encoder with Multi-view Modeling for Passage Retrieval
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Kuaishou Technology（快手科技）
本研究提出CoT-MAE v2，通过引入结合密集与稀疏向量的多视图表示及联合自编码与自回归的多视图解码范式，改进上下文掩码自编码器，有效提升了大规模段落检索与域外零样本检索的性能。
2023-04-05 cs.AI cs.CL cs.IR
Variational auto-encoders with Student's t-prior
Lund University（隆德大学）；Halmstad University（哈尔姆斯塔德大学）
我们提出了一个新的结构变分自动编码器（VAE）的先验，弱信息的多元学生的t分布。在所提出的模型中，所有分布参数都经过训练，从而允许对底层数据分布进行更鲁棒的近似。我们在两个实验中使用Fashion-MNIST数据来比较所提出的VAE与标准高斯先验。这两个实验都表明，使用学生的t先验分布的VAE图像的更好的重建。
2020-04-06 cs.LG stat.ML
An Automated Auto-encoder Correlation-based Health-Monitoring and Prognostic Method for Machine Bearings
Cyber-Physical Systems Group, Vienna University of Technology（维也纳工业大学网络物理系统组）
本文研究了一种智能化的旋转机械常见部件，特别是轴承的健康监测和预测的最终技术。在一个运行到故障的实验中，丰富的无监督的振动传感器数据的特征提取的训练稀疏自动编码器。然后，计算初始样本（在测试开始时可能是健康的）与后续样本的提取属性的相关性，并通过移动平均滤波器。标准化的输出被命名为基于自动编码器相关性（AEC）的速率，其代表系统的信息属性，描述其健康状态并精确地识别退化起始点。我们表明，AEC技术以及推广在几个运行失败的测试。AEC完全自主地从振动数据中收集丰富的无监督特征。我们证明了AEC的优越性超过许多其他国家的最先进的方法，机器轴承的健康监测和预后。
2017-03-18 cs.LG cs.NE stat.ML
Diagnosing Vulnerability of Variational Auto-Encoders to Adversarial Attacks
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Universiteit van Amsterdam（阿姆斯特丹大学）
在这项工作中，我们探讨了对变分自编码器（VAE）的对抗攻击。我们展示了如何修改数据点以获得规定的潜在代码（监督攻击）或只是获得完全不同的代码（无监督攻击）。我们研究模型修改（$β$ -VAE，NVAE）对VAE鲁棒性的影响，并建议量化指标。
2021-05-06 cs.CR cs.LG stat.ML
Discriminative Recurrent Sparse Auto-Encoders
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）
我们提出了判别式递归稀疏自动编码器模型，包括整流线性单元的递归编码器，展开固定次数的迭代，并连接到两个线性解码器，重建输入并预测其监督分类。通过时间反向传播的训练最初使无监督稀疏重建误差最小化;然后用监督分类上的判别项来增强损失函数。时间展开形式中隐含的深度允许系统展示深度网络的所有功能，同时大幅减少可训练参数的数量。从最初的非结构化网络中，隐藏单元分为类别单元，每个类别单元代表一个具有明确定义的类的输入原型;以及部分单元代表这些原型的变形。递归编码器的学习组织是分层的：部分单元直接由输入驱动，而分类单元的活动通过与部分单元的交互随着时间的推移而建立。即使每层使用少量的隐藏单元，判别式递归稀疏自编码器在MNIST上也能实现出色的性能。
2013-03-19 cs.CV cs.LG
