Saturating Auto-Encoders
Courant Institute of Mathematical Science（库朗数学科学研究所）；New York University（纽约大学）
我们介绍了一个简单的新的自动编码器，其隐藏单元激活函数包含至少一个零梯度（饱和）区域的正则化。该正则化子明确地鼓励在对应的激活函数的饱和区域中的激活。我们称之为饱和自动编码器（SATAE）。我们表明，饱和正则化显式限制了SATAE的能力，重建输入附近的数据流形。此外，我们表明，各种各样的功能可以学习时，使用不同的激活函数。最后，与压缩和稀疏自动编码器建立连接。
2013-03-20 cs.LG
Diagnosing Vulnerability of Variational Auto-Encoders to Adversarial Attacks
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Universiteit van Amsterdam（阿姆斯特丹大学）
在这项工作中，我们探讨了对变分自编码器（VAE）的对抗攻击。我们展示了如何修改数据点以获得规定的潜在代码（监督攻击）或只是获得完全不同的代码（无监督攻击）。我们研究模型修改（$β$ -VAE，NVAE）对VAE鲁棒性的影响，并建议量化指标。
2021-05-06 cs.CR cs.LG stat.ML
Relating graph auto-encoders to linear models
University of Tübingen（图宾根大学）
本文证明图自编码器的解空间是线性映射解空间的子集，指出节点特征而非编码器非线性才是更强的归纳偏置，并通过实验表明使用特征信息时线性编码器可优于非线性编码器。
2023-11-30 cs.LG
Rate-Distortion Auto-Encoders
University of Florida（佛罗里达大学）
最近关于深度学习的研究激发了人们对自动编码算法的兴趣。当前的努力已经指向具有大量编码单元的自动编码器架构的有效训练。在这里，我们提出了一种学习算法的自动编码器的基础上的率失真的目标，最大限度地减少互信息之间的输入和输出的自动编码器受到保真度约束。我们的目标是学习一种表示，这种表示对输入数据的贡献最小，但又足够丰富，可以在一定程度的失真下重建输入。最小化互信息充当正则化项，而保真度约束可以被理解为常规统计学习设置中的风险函数。该算法使用了最近推出的熵的无限可分矩阵的基础上，避免了插件估计的密度。使用过完备基的实验表明，率失真自动编码器可以以隐式方式学习正则化的输入输出映射。
2014-04-17 cs.LG
Auto-Encoder based Co-Training Multi-View Representation Learning
China University of Petroleum（中国石油大学）
多视图学习是一种利用对象的各种表示来挖掘有价值的知识和提高学习算法性能的学习问题，而子空间学习是多视图学习的一个重要方向。自动编码器是一种深度学习方法，它通过重构输入数据来学习原始数据的潜在特征，在此基础上，提出了一种基于自动编码器的协同训练多视图学习（Automo-encoder based Co-training Multi-View Learning，ACMVL）算法，该算法利用互补性和一致性，找到多视图的联合潜在特征表示。该算法分为两个阶段，第一阶段是训练每个视图的自动编码器，第二阶段是训练一个监督网络。有趣的是，这两个阶段共享部分权重，并通过共同训练过程相互帮助。实验结果表明，该方法可以学习到性能良好的潜在特征表示，并且每个视图的自动编码器比传统的自动编码器具有更强的重构能力。
2022-01-09 cs.LG
Information Theoretic-Learning Auto-Encoder
University of Florida（佛罗里达大学）
提出了神经网络变分正则化的信息理论学习（ITL）发散测度。我们还探索了ITL正则化自编码器作为变分自编码贝叶斯，对抗性自编码器和生成对抗网络的替代方案，用于随机生成样本数据，而无需显式定义分区函数。本文还形式化，生成矩匹配网络下的ITL框架。
2016-03-22 cs.LG
Conservativeness of untied auto-encoders
Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；University of Montreal（蒙特利尔大学）；HEC Montreal（蒙特利尔高等商学院）
我们讨论了一个自动编码器定义一个保守的向量场，在这种情况下，它是与一个能量函数类似的数据的非归一化对数概率的必要条件和充分条件。我们证明了保守性的条件比编码器和解码器权重相同（“捆绑权重”）更一般，并且它们还取决于隐藏单元激活函数的形式，但是收缩训练标准（如去噪）将局部执行这些条件。基于这些观察，我们展示了如何使用自动编码器来提取向量场的保守分量。
2015-09-21 cs.LG
Training Auto-encoders Effectively via Eliminating Task-irrelevant Input Variables
Huazhong University of Science & Technology（华中科技大学）；China Three Gorges University（三峡大学）；Wuhan Polytechnic University（武汉轻工大学）；Wuhan University（武汉大学）；University of Edinburgh（爱丁堡大学）
自动编码器通常被用作深度网络分类器的构建块来学习特征提取器，但是输入数据中的任务无关信息可能导致不良提取器并导致网络的泛化性能差。本文提出了一种基于重要性的变量选择方法，该方法首先估计变量的重要性，然后对重要性值小于阈值的变量进行丢弃，以发现并丢弃与任务无关的输入变量，从而显著提高自动编码器的性能。为了获得更好的性能，该方法可以用于堆叠的自动编码器的每一层。实验结果表明，当与我们的方法相结合时，堆叠去噪自动编码器在三个具有挑战性的数据集上实现了显着提高的性能。
2016-05-31 cs.LG
On the Latent Space of Wasserstein Auto-Encoders
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）
我们研究了潜在的空间维度在Wasserstein自动编码器（WAE）中的作用。通过对合成数据集和真实数据集的实验，我们认为随机编码器应该优于确定性编码器。我们强调了WAE的代表性学习的潜力，并在基准解纠缠任务上取得了令人鼓舞的结果。
2018-02-11 cs.LG stat.ML
Local Distance Preserving Auto-encoders using Continuous k-Nearest Neighbours Graphs
Volkswagen Group（大众集团）
在表示学习中，保持数据相似性的自动编码器模型是一种流行的工具。在本文中，我们介绍了几个自动编码器模型，保持本地距离时，从数据空间映射到潜在的空间。我们使用一个本地的距离保持损失，是基于连续的k-最近的邻居图，这是已知的捕捉拓扑特征，在所有尺度上同时。为了提高训练性能，我们将学习制定为约束优化问题，以局部距离保持为主要目标，重建精度为约束。我们将这种方法推广到分层变分自动编码器，从而学习具有几何一致的潜在和数据空间的生成模型。我们的方法在几个标准数据集和评估指标上提供了最先进的性能。
2022-09-30 cs.LG
Scoring and Classifying with Gated Auto-encoders
University of Guelph（圭尔夫大学）
自动编码器可能是表示学习最著名的非概率方法。它们在概念上很简单，并且易于训练。最近的理论工作揭示了他们捕捉流形结构的能力，并与密度建模建立了联系。这促使研究人员寻求自动编码器评分的方法，这进一步促进了它们在分类中的应用。门控自动编码器（GAE）是自动编码器的一个有趣而灵活的扩展，它可以学习不同图像之间的变换或图像内的像素协方差。然而，无论是理论上还是实证上，对它们的研究都要少得多。在这项工作中，我们应用动力系统的观点GAE，推导出一个评分函数，并绘制连接到限制玻尔兹曼机。在一组深度学习基准测试中，我们还展示了它们对单标签和多标签分类的有效性。
2015-06-15 cs.LG cs.NE
Mixture Model Auto-Encoders: Deep Clustering through Dictionary Learning
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
用于对高维数据进行聚类的最新方法利用深度自动编码器架构。由于自动编码器的黑盒性质，这些网络中的许多网络需要大量的参数，并且缺乏可解释性。我们介绍了混合模型自动编码器（MixMate），一种新的架构，通过对生成模型进行推理来聚类数据。从稀疏字典学习和混合模型的角度来看，MixMate包括几个自动编码器，每个编码器的任务是在不同的集群中重建数据，同时在潜在空间中实施稀疏性。通过对各种图像数据集的实验，我们表明，与最先进的深度聚类算法相比，MixMate实现了具有竞争力的性能，同时使用了数量级更少的参数。
2022-02-25 cs.LG eess.SP
Auto-encoders: reconstruction versus compression
我们讨论了训练自动编码器以最小化重建误差和训练同一个自动编码器通过生成模型压缩数据之间的相似性和差异。使用自动编码器最小化数据的码长相当于最小化重构误差加上一些校正项，这些校正项具有解码函数的去噪或收缩特性的解释。这些术语与去噪或收缩自动编码器中使用的术语相关但不相同[Vincent et al. 2010，Rifai et al. 2011]。特别地，码长观点完全确定去噪标准的最佳噪声水平。
2015-01-23 cs.IT cs.LG cs.NE
Creation of a Deep Convolutional Auto-Encoder in Caffe
本文介绍了在Caffe深度学习框架中开发深度（堆叠）卷积自动编码器。我们描述了我们用来在Caffe中创建这个模型的简单原则。所提出的卷积自动编码器模型还没有池化/解池化层。我们的实验研究的结果表明，与经典的自动编码器相比，MNIST数据集的例子的降维精度相当。
2016-04-22 cs.CV cs.LG cs.NE
What Regularized Auto-Encoders Learn from the Data Generating Distribution
University of Montreal（蒙特利尔大学）
自动编码器了解底层数据生成分布的哪些信息？最近的工作表明，一些自动编码器变体在捕获数据的局部流形结构方面做得很好。本文澄清了一些这些以前的观察，通过显示，最小化一个特定形式的正则化重建误差产生一个重建函数，局部特征的数据生成密度的形状。我们表明，自动编码器捕获的分数（相对于输入的对数密度的衍生物）。这与以前将重建误差解释为能量函数相矛盾。与以前的结果不同，这里提供的定理是完全通用的，并且不依赖于自动编码器的参数化：它们显示了如果给定足够的容量和示例，自动编码器会倾向于什么。这些结果是针对收缩训练标准的，我们表明其类似于具有小腐败噪声的去噪自动编码器训练标准，但是收缩应用于整个重建函数而不仅仅是编码器。与分数匹配类似，可以将所提出的训练标准视为最大似然的方便替代方案，因为它不涉及分区函数。最后，我们展示了如何近似的大都会黑斯廷斯MCMC可以设置从估计的分布中恢复样本，这在采样实验中得到了证实。
2014-08-19 cs.LG stat.ML
Wasserstein Auto-Encoders
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Brain（谷歌大脑）
我们提出了Wasserstein自动编码器（WAE）-一种新的算法，用于建立数据分布的生成模型。WAE最小化模型分布和目标分布之间的瓦瑟斯坦距离的惩罚形式，这导致与变分自动编码器（VAE）所使用的正则化器不同的正则化器。这个正则化器鼓励编码的训练分布与先验匹配。我们比较我们的算法与其他几种技术，并表明它是一个泛化的对抗性自动编码器（AAE）。我们的实验表明，WAE共享VAE的许多属性（稳定的训练，编码器-解码器架构，良好的潜在流形结构），同时生成更好质量的样本，如FID分数所衡量的。
2019-12-05 cs.LG stat.ML
Implicit Density Estimation by Local Moment Matching to Sample from Auto-Encoders
University of Montreal（蒙特利尔大学）
最近的工作表明，一些自动编码器变体在捕获未知数据生成密度的局部流形结构方面做得很好。本文有助于从数学上理解这一现象，并有助于基于自动编码器变体为深度学习定义更合理的采样算法。我们考虑MCMC，其中每个步骤从高斯采样，其均值和协方差矩阵取决于先前的状态，通过其渐近分布定义目标密度。首先，我们证明了这些均值和协方差函数的良好选择（在一致性的意义上）是该目标密度下的局部期望值和协方差。然后，我们表明，一个压缩惩罚的自动编码器捕获这些局部矩在其重建函数和雅可比矩阵的估计。因此，这项工作的贡献是一种新的替代最大似然密度估计，我们称之为本地矩匹配。它还证明了最近提出的压缩自动编码器的采样算法，并将其扩展到去噪自动编码器。
2012-06-30 cs.LG stat.ML
Purifying Adversarial Perturbation with Adversarially Trained Auto-encoders
Iowa State University（爱荷华州立大学）
机器学习模型容易受到对抗性样本的影响。迭代对抗训练在对抗强大的白盒攻击方面表现出了良好的效果。然而，对抗训练非常昂贵，每次需要保护模型时，都需要执行这种昂贵的训练方案。在本文中，我们提出将迭代对抗训练方案应用于外部自动编码器，一旦训练好，就可以直接用于保护其他模型。我们的经验表明，我们的模型优于其他净化为基础的方法对白盒攻击，并转移直接保护其他基础模型与不同的架构。
2019-05-26 cs.CR cs.CV cs.LG
Estimating of the inertial manifold dimension for a chaotic attractor of complex Ginzburg-Landau equation using a neural network
Yuri Gagarin State Technical University of Saratov（萨拉托夫尤里·加加林国立技术大学）
利用自编码器神经网络估计空间分布系统混沌吸引子的惯性流形维数。惯性流形是混沌吸引子嵌入的低维流形。自动编码器将系统状态向量映射到自身上，让它们通过一个维数降低的内部状态。自动编码器的训练过程显着依赖于减少的维度：学习曲线饱和时，维度太小，如果它是足够的无损信息传输衰减。最小的充分值被认为是惯性流形的维度，并且自动编码器实现到惯性流形上的映射和返回。的正确性的计算尺寸证实了其显着的重合作为一个数量的协变李雅普诺夫向量消失成对的角度。这些向量称为物理模式。与零角余值不同的是，它们是惯性流形的一个切线子空间。
2018-11-23 cs.LG physics.comp-ph
Towards Better Data Augmentation using Wasserstein Distance in Variational Auto-encoder
National University of Singapore（新加坡国立大学）；Singapore Management University（新加坡管理大学）
变分自动编码器（VAE）将数据压缩成潜在属性，并生成不同种类的新数据。基于KL散度的VAE被认为是一种有效的数据增强技术。在本文中，我们提出了使用Wasserstein距离作为潜在属性的分布相似性的度量，并显示其优越的理论下限（ELBO）相比，KL分歧在温和的条件下。通过多个实验，我们证明了新的损失函数具有更好的收敛性，并产生人工图像，可以更好地帮助图像分类任务。
2022-08-16 cs.LG
Unsupervised Hyperbolic Representation Learning via Message Passing Auto-Encoders
Seoul National University（首尔大学）；University of Birmingham（伯明翰大学）
大多数关于双曲嵌入的现有文献集中在监督学习上，而非监督双曲嵌入的使用则较少被探索。在本文中，我们分析了无监督任务如何从双曲空间中的学习表示中受益。为了探索如何以及未标记数据的层次结构可以表示在双曲空间中，我们设计了一种新的双曲消息传递自动编码器，其整体自动编码是在双曲空间中进行。该模型通过充分利用双曲几何的信息传递方式对网络进行自动编码。通过大量的定量和定性分析，我们验证了无监督双曲表示的性质和好处。代码可在https://github.com/junhocho/HGCAE上获得。
2021-03-30 cs.LG
How Auto-Encoders Could Provide Credit Assignment in Deep Networks via Target Propagation
Université de Montréal（蒙特利尔大学）
我们建议利用{ \em重建}作为深度学习的层局部训练信号。重建可以以目标传播的形式传播，其起到类似于反向传播的作用，但有助于减少对导数的依赖，以便在可能的强非线性的许多级别上执行信用分配（这对于反向传播是困难的）。正则化自动编码器倾向于产生作为其输入的更可能版本的重构，即，向更高可能性方向的微小移动。通过概括梯度，目标传播还可以允许训练具有离散隐藏单元的深度网络。如果自动编码器在输入中采用输入和目标（或任何边信息）的表示，则其对输入表示的重构提供了朝向更可能的表示的目标，该表示以所有边信息为条件。深度自动编码器解码路径以学习的方式概括梯度传播，从而不仅可以处理无穷小的变化，而且可以处理更大的离散变化，希望允许通过非线性操作的长链进行信用分配。除了每一层都是一个很好的自动编码器之外，编码器还学会了通过将数据转换到一个更容易建模的空间，扁平化流形和解开因子来取悦上层。这种方法的动机和理论的理由是在本文中，连同将不得不被数学或实验验证，包括一个假设，说明这种自动编码器介导的目标传播可以在大脑中发挥的作用，信用分配通过许多非线性，噪声和离散的转换。
2014-09-18 cs.LG
Variational Graph Auto-Encoders
University of Amsterdam（阿姆斯特丹大学）；Canadian Institute for Advanced Research (CIFAR)（加拿大高级研究院）
我们介绍了变分图自动编码器（VGAE），一个基于变分自动编码器（VAE）的图结构数据无监督学习框架。该模型利用潜变量，能够学习无向图的可解释的潜表示。我们使用图卷积网络（GCN）编码器和一个简单的内积解码器来演示这个模型。我们的模型在引用网络中的链接预测任务上取得了有竞争力的结果。与大多数现有的对图结构数据和链接预测进行无监督学习的模型相比，我们的模型可以自然地包含节点特征，这显著提高了许多基准数据集的预测性能。
2016-11-21 cs.LG stat.ML
Image Representation Learning Using Graph Regularized Auto-Encoders
State Key Laboratory of Industrial Control and Technology（工业控制技术国家重点实验室）；Zhejiang University（浙江大学）
我们考虑了无监督学习和半监督学习任务的图像表示问题。在这些学习任务中，由于原始图像向量的特征空间高度密集，因此原始图像向量可能无法提供足够的内在结构表示。为了克服这个问题，原始图像向量应该被映射到一个合适的表示空间，该空间可以捕获原始数据的潜在结构，并显式地表示数据，以用于进一步的学习任务，如聚类。受近年来深度神经网络和表示学习研究的启发，本文将多层自动编码器引入图像表示中，并将局部不变的思想应用于图像的自动编码器表示中，提出了一种新的方法，称为图正则化自动编码器（GAE）。GAE可以提供一个紧凑的表示，揭示隐藏的语义，同时尊重内在的几何结构。大量的图像聚类实验表明，令人鼓舞的结果相比，国家的最先进的算法在现实世界的情况下，该算法。
2014-02-19 cs.LG
Scalable Convolutional Dictionary Learning with Constrained Recurrent Sparse Auto-encoders
Harvard University（哈佛大学）；Manifold AI（Manifold人工智能公司）
给定一组观测信号的卷积字典，精心设计的自动编码器能否在存在噪声的情况下恢复字典？我们引入了一个自动编码器架构，称为约束循环稀疏自动编码器（CRsAE），回答这个问题的肯定。给定输入信号和近似字典，编码器使用FISTA找到稀疏近似。解码器通过将字典应用于编码器的输出来重构信号。CRsAE中的编码器和解码器在用于字典学习的基于优化的交替最小化方案中并行稀疏编码和字典更新步骤。因此，编码器和解码器的参数不是独立的，这是我们第一次强制执行的约束。我们推导出反向传播算法CRsAE。CRsAE是一个盲声源分离的框架，只有知道源（字典元素）的数量，并假设稀疏-许多可以重叠，是能够分离它们。我们证明了它的实用程序的背景下，尖峰排序，计算神经科学中的声源分离问题。我们证明了CRsAE的能力，以恢复潜在的字典，并表征其灵敏度作为SNR的函数。
2018-07-12 cs.LG stat.ML
Radon Sobolev Variational Auto-Encoders
Université Paris Dauphine - PSL Research University（巴黎第九大学-巴黎文理研究大学）；CEREMADE（CEREMADE（巴黎第九大学应用数学研究中心））
生成模型（如生成对抗网络和变分自动编码器）的质量在很大程度上取决于选择良好的概率距离。然而，一些常用的度量如Wasserstein距离、Sliced Wasserstein距离、Jensen-Shannon散度、Kullback-Leibler散度等缺乏方便的性质，如（测地线）凸性、快速求值等，为了解决这些缺点，我们引入了一类具有内建凸性的距离.我们调查的关系与一些已知的范例（切片距离-拉东距离的同义词-，再生核希尔伯特空间，能量距离）。的距离被证明具有快速的实现，并包括在一个适应变分自动编码器称为拉东Sobolev变分自动编码器（RS-VAE），产生高质量的结果标准生成数据集。关键词：变分自动编码器;生成模型; Sobolev空间; Radon Sobolev变分自动编码器;
2021-04-14 cs.AI cs.CV cs.LG
Deep Denoising Auto-encoder for Statistical Speech Synthesis
McGill University（麦吉尔大学）；National Institute of Informatics（国立信息学研究所）
本文提出了一种深度去噪自动编码器技术，以提取更好的声学特征用于语音合成。该技术允许我们以非线性、数据驱动、无监督的方式从高维光谱特征中自动提取低维特征。我们比较了新的随机特征提取器与传统的梅尔倒谱分析在分析合成和文本到语音的实验。我们的研究结果证实，该方法提高了合成语音的质量在两个实验中。
2015-06-17 cs.LG cs.SD
Directed Graph Auto-Encoders
IBM Research（IBM研究院）；T. J. Watson Research Center（T·J·沃森研究中心）
我们引入了一类新的自动编码器的有向图，直接扩展的Weisfeiler-Leman算法对节点标签的动机。该模型学习有向图节点的可解释潜在表示对，并使用参数化的图卷积网络（GCN）层作为其编码器和非对称内积解码器。编码器中的参数控制相邻节点之间交换的表示的加权。我们证明了所提出的模型学习有意义的潜在嵌入的能力，并在几个流行的网络数据集上的有向链接预测任务上取得优异的性能。
2022-02-25 cs.AI cs.LG
Barlow Graph Auto-Encoder for Unsupervised Network Embedding
Unite Network SE（Unite Network SE公司）；TU Munich（慕尼黑工业大学）
网络嵌入已成为网络分析的一个很有前途的研究领域。最近，一种名为Barlow Twins的方法被提出用于计算机视觉中的自监督学习，该方法通过将冗余减少原理应用于对应于两个失真版本的图像样本的嵌入向量。受此启发，我们提出了Barlow Graph Auto-Encoder，一个简单而有效的学习网络嵌入的架构。它的目的是最大限度地提高一个节点的直接和更大的邻域的嵌入向量之间的相似性，同时最小化这些投影的组件之间的冗余。此外，我们还提出了变异对应的巴洛变分图自动编码器。我们的方法产生了有前途的结果，归纳链接预测，并与国家的最先进的聚类和下游节点分类，证明了广泛的比较与几个知名的技术在三个基准引文数据集。
2022-12-13 cs.LG
Effective Decoding in Graph Auto-Encoder using Triadic Closure
Hong Kong University of Science and Technology（香港科技大学）；Amazon（亚马逊）
（变分）图自动编码器及其变体已广泛用于图结构数据的表示学习。虽然编码器通常是强大的图卷积网络，但解码器通过一次仅考虑两个节点来重建图结构，从而忽略边缘之间可能的相互作用。另一方面，同时考虑整个图的结构化预测在计算上是昂贵的。在本文中，我们利用了著名的三元封闭性，这是在许多现实世界的网络。我们提出了三和弦解码器，它考虑和预测的三个边缘参与一个本地三和弦在一起。三元组解码器可以很容易地用于任何基于图形的自动编码器。特别是，我们将其纳入（变分）图自动编码器。在链接预测、节点聚类和图生成等方面的实验表明，使用三元组可以更准确地预测、聚类和更好地保持图的特征。
2019-11-26 cs.LG stat.ML
An FNet based Auto Encoder for Long Sequence News Story Generation
University of Texas at Austin（德克萨斯大学奥斯汀分校）；California State University Fullerton（加州州立大学富勒顿分校）
在本文中，我们设计了一个基于Google的FNet架构的自动编码器，以便从Google的C4数据集中包含的新闻故事子集中生成文本。我们讨论以前的尝试和方法，从自动编码器和非LLM模型生成文本。FNET在效率方面比基于BERT的编码器具有多个优势，在GPU上的训练速度快80%，在TPU上快70%。然后，我们比较这个autencoder如何在不同的时期perfroms的输出。最后，我们分析了编码器使用不同种子文本产生的输出。
2022-11-17 cs.AI cs.CL cs.LG
Cross-modal Variational Auto-encoder with Distributed Latent Spaces and Associators
Seoul National University（首尔大学）；Samsung SDS（三星SDS）；Samsung Research（三星研究院）
在本文中，我们提出了一种新的结构的跨模态数据关联，这是最近的研究大脑的联想学习结构的启发。我们在贝叶斯推理框架中制定了跨模态关联，该框架由具有多个变分自动编码器和变分关联器的深度神经网络实现。变分关联器在表示不同模态的自动编码器之间转移潜在空间。所提出的结构成功地关联，甚至异构模态数据，并很容易地将额外的模态通过建议的跨模态关联器到整个网络。此外，由于自动编码器可以通过无监督的方式进行训练，因此所提出的结构可以仅用少量的成对数据进行训练。通过实验，该结构的有效性进行了验证，在各种数据集，包括视觉和听觉数据。
2019-05-30 cs.LG stat.ML
Graph Attention Auto-Encoders
Arizona State University（亚利桑那州立大学）
自动编码器已经成为无监督学习的成功框架。然而，传统的自动编码器不能利用结构化数据中的显式关系。为了利用图结构数据中的关系，最近提出了几种图自动编码器，但它们忽略了重建图结构或节点属性。在本文中，我们提出了图形注意力自动编码器（GATE），一个神经网络架构的无监督表示学习的图形结构的数据。我们的架构是能够重建图形结构的输入，包括节点属性和图形结构，通过堆叠的编码器/解码器层配备自注意力机制。在编码器中，通过将节点属性视为初始节点表示，每个层通过关注其邻居的表示来生成节点的新表示。在解码器中，我们尝试逆编码过程来重构节点属性。此外，节点表示正则化，以重建图结构。我们提出的架构不需要预先知道图的结构，因此它可以应用于归纳学习。我们的实验表明，在几个节点分类基准数据集上，对于转换和归纳任务，我们的性能具有竞争力，在大多数情况下甚至超过了监督学习基线的性能。
2019-05-26 cs.LG cs.SI stat.ML
Decoupling feature propagation from the design of graph auto-encoders
University of Cambridge（剑桥大学）
我们提出了两个实例，L-GAE和L-VGAE，变分图自动编码家族（VGAE）的基础上分离的特征传播操作从图卷积层通常发现在图学习方法的一个单一的线性矩阵计算之前，在标准的自动编码器架构的输入。这种解耦实现了自动编码器的独立和固定设计，而不需要针对节点的局部感受野的大小的每一个期望的增加而需要额外的GCN层。固定自动编码器能够更公平地评估建筑表示中节点感受野的大小。此外，修复自动编码器设计的副产品通常会导致网络比VGAE对应的网络小得多，特别是当我们增加特征传播的数量时。对链接预测任务的比较下游评估显示出与类似的VGAE布置相当的最新性能，尽管相当简化。我们还展示了我们的方法更具有挑战性的表示学习场景，如时空图表示学习的简单应用。
2019-10-18 cs.LG stat.ML
A Deep Convolutional Auto-Encoder with Pooling - Unpooling Layers in Caffe
本文介绍了Caffe深度学习框架中深度卷积自动编码器的几种模型的开发及其在MNIST数据集示例上的实验评估。我们已经创建了卷积自动编码器的五个模型，它们在架构上的不同之处在于自动编码器的编码器和解码器部分中是否存在池化和非池化层。我们的研究结果表明，开发的模型提供了很好的结果，在降维和无监督聚类任务，和小的分类错误时，我们使用学习的内部代码作为一个有监督的线性分类器和多层感知器的输入。最好的结果是由一个模型提供的，其中编码器部分包含卷积层和池化层，然后是一个类似的解码器部分，具有去卷积层和去池化层，而无需在解码器部分中使用开关变量。本文还讨论了在非常流行的Caffe深度学习框架中创建深度卷积自动编码器的实际细节。我们相信，本文中提出的方法和结果可以帮助其他研究人员在未来构建高效的深度神经网络架构。
2017-01-18 cs.CV cs.LG cs.NE
Unsupervised Star Galaxy Classification with Cascade Variational Auto-Encoder
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；The University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
天文学中数据量的不断增加给机器学习研究带来了巨大的挑战。以前，监督学习方法取得了令人满意的识别精度的恒星星系分类任务的基础上，手动标记的数据集。在这项工作中，我们提出了一种新的无监督的方法的恒星星系识别任务，即级联变分自动编码器（CasVAE）。我们的实证结果表明，我们的方法优于基线模型的准确性和稳定性。
2019-10-30 cs.LG stat.ML
Gradual training of deep denoising auto encoders
The Gonda Brain Research Center（贡达脑研究中心）；Bar Ilan University（巴伊兰大学）
众所周知，堆叠去噪自动编码器（DAE）可以学习有用的深度表示，可以通过初始化深度网络来改进监督训练。我们研究了一个深层DAE的训练方案，其中DAE层逐渐添加，并随着添加额外的层而不断适应。我们表明，在中等规模数据集的情况下，这种渐进式训练在MNIST和CIFAR数据集上的堆叠训练的重建质量和分类错误方面都比堆叠训练提供了小但一致的改进。
2014-12-19 cs.LG cs.NE
L2G Auto-encoder: Understanding Point Clouds by Local-to-Global Reconstruction with Hierarchical Self-Attention
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心）；University of Maryland（马里兰大学）
自动编码器是自重构点云数据编码和解码过程中理解点云数据的重要结构。目前的自动编码器主要关注于通过全局形状重构来学习全局结构，而忽略了对局部结构的学习。为了解决这个问题，我们提出了局部到全局自动编码器（L2 G-AE），通过局部到全局重建同时学习点云的局部和全局结构。具体地，L2 G-AE采用编码器来同时对局部区域中的多个尺度的几何信息进行编码。此外，我们还引入了一种新颖的分层自注意力机制，突出编码器信息聚合中不同层次的重要点、尺度和区域。同时，L2 G-AE采用递归神经网络（RNN）作为解码器，在局部区域中重建一系列尺度，在此基础上增量重建全局点云。我们在形状分类，检索和上采样方面的出色结果表明，L2 G-AE可以比最先进的方法更好地理解点云。
2019-08-02 cs.CV cs.LG
Fisher Auto-Encoders
Duke University（杜克大学）；University of Minnesota（明尼苏达大学）
它已被证实，费舍尔分歧是更强大的模型的不确定性比传统的Kullback-Leibler（KL）分歧。这激发了一类新的鲁棒生成式自动编码器（AE）的设计，称为Fisher自动编码器。我们的方法是通过最小化观测数据和潜变量的难处理的联合分布与假设/建模的联合分布之间的Fisher发散来设计Fisher AE。与基于KL的变分AE（VAE）相比，Fisher AE可以精确地量化真实和基于模型的后验分布之间的距离。提供了MNIST和celebA数据集的定性和定量结果，证明了Fisher AE与其他AE（如VAE和Wasserstein AE）相比在稳健性方面的竞争性能。
2020-10-23 cs.LG stat.ML
Training Deep Spiking Auto-encoders without Bursting or Dying Neurons through Regularization
Donders Institute for Brain, Cognition and Behaviour（唐德斯脑、认知与行为研究所）
脉冲神经网络是计算神经科学中下一代大脑模型的一种很有前途的方法。此外，与经典的人工神经网络相比，它们可以通过在专门的神经形态硬件中实现快速计算来作为AI的节能部署。然而，训练深度脉冲神经网络，特别是以无监督的方式，是具有挑战性的，并且脉冲模型的性能受到死亡或爆裂神经元的显著阻碍。在这里，我们将基于膜电位的反向传播的端到端学习应用于具有多个可训练层的泄漏积分和激发神经元的尖峰卷积自动编码器。我们提出了生物启发的正则化方法来控制潜在表示中的尖峰密度。在实验中，我们表明，对膜电位和尖峰输出应用正则化成功地避免了死亡和爆裂神经元，并显着降低了尖峰自动编码器的重建误差。在MNIST数据集上训练正则化网络产生的图像重建质量与非尖峰基线模型（确定性和变分自动编码器）相当，并表明对早期方法的改进。重要的是，我们表明，与变分自动编码器不同，尖峰潜在表示显示与图像类相关的结构。
2021-09-22 cs.LG cs.NE
Denoising and feature extraction in photoemission spectra with variational auto-encoder neural networks
University of Virginia（弗吉尼亚大学）
近年来，不同的机器学习（ML）模型已分别用于从原始角分辨光电子能谱（ARPES）数据获得的能量-动量色散强度图的特征提取和降噪。在这项工作中，我们采用了一个浅层变分自动编码器（VAE）神经网络来展示使用ML进行ARPES色散图去噪和特征提取的前景。
2022-03-14 cond-mat.str-el cs.LG physics.ins-det
Improving auto-encoder novelty detection using channel attention and entropy minimization
Zhejiang University of Technology（浙江工业大学）；Tianjin University of Technology（天津理工大学）
新颖性检测是一个重要的研究领域，主要解决由正常样本组成的内点和由异常样本组成的离群点的分类问题。自动编码器常用于新颖性检测。然而，自动编码器的泛化能力可能会导致不期望的异常元素的重建，降低模型的识别能力。为了解决这一问题，本文从更好地重构正态样本以及保留正态样本的独特信息的角度出发，来提高自动编码器的新颖性检测性能。首先，我们将注意力机制引入到任务中。在注意力机制的作用下，自动编码器可以通过对抗训练来更加关注内点样本的表示。其次，我们将信息熵引入到潜在层中，使其稀疏化，并约束多样性的表达。在三个公开数据集上的实验结果表明，该方法与以前流行的方法相比，具有相当的性能。
2021-05-10 cs.CV cs.LG eess.IV
Gradual Training Method for Denoising Auto Encoders
The Gonda Brain Research Center（贡达脑研究中心）；Bar Ilan University（巴伊兰大学）
众所周知，堆叠去噪自动编码器（DAE）可以学习有用的深度表示，可以通过初始化深度网络来改进监督训练。我们研究了一个深层DAE的训练方案，其中DAE层逐渐添加，并随着添加额外的层而不断适应。我们表明，在中等规模数据集的情况下，这种渐进式训练在MNIST和CIFAR数据集上的堆叠训练的重建质量和分类错误方面都比堆叠训练提供了小但一致的改进。
2015-04-11 cs.LG cs.NE
Variational auto-encoders with Student's t-prior
Lund University（隆德大学）；Halmstad University（哈尔姆斯塔德大学）
我们提出了一个新的结构变分自动编码器（VAE）的先验，弱信息的多元学生的t分布。在所提出的模型中，所有分布参数都经过训练，从而允许对底层数据分布进行更鲁棒的近似。我们在两个实验中使用Fashion-MNIST数据来比较所提出的VAE与标准高斯先验。这两个实验都表明，使用学生的t先验分布的VAE图像的更好的重建。
2020-04-06 cs.LG stat.ML
Discriminative Recurrent Sparse Auto-Encoders
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）
我们提出了判别式递归稀疏自动编码器模型，包括整流线性单元的递归编码器，展开固定次数的迭代，并连接到两个线性解码器，重建输入并预测其监督分类。通过时间反向传播的训练最初使无监督稀疏重建误差最小化;然后用监督分类上的判别项来增强损失函数。时间展开形式中隐含的深度允许系统展示深度网络的所有功能，同时大幅减少可训练参数的数量。从最初的非结构化网络中，隐藏单元分为类别单元，每个类别单元代表一个具有明确定义的类的输入原型;以及部分单元代表这些原型的变形。递归编码器的学习组织是分层的：部分单元直接由输入驱动，而分类单元的活动通过与部分单元的交互随着时间的推移而建立。即使每层使用少量的隐藏单元，判别式递归稀疏自编码器在MNIST上也能实现出色的性能。
2013-03-19 cs.CV cs.LG
Learning Network Representations with Disentangled Graph Auto-Encoder
School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）
本文提出解耦图自动编码器（DGA）和解耦变分图自动编码器（DVGA），通过多通道消息传递和独立性约束学习解耦图表示，在合成与真实数据集上优于现有基线。
2024-07-16 cs.AI cs.LG stat.ML
An Automated Auto-encoder Correlation-based Health-Monitoring and Prognostic Method for Machine Bearings
Cyber-Physical Systems Group, Vienna University of Technology（维也纳工业大学网络物理系统组）
本文研究了一种智能化的旋转机械常见部件，特别是轴承的健康监测和预测的最终技术。在一个运行到故障的实验中，丰富的无监督的振动传感器数据的特征提取的训练稀疏自动编码器。然后，计算初始样本（在测试开始时可能是健康的）与后续样本的提取属性的相关性，并通过移动平均滤波器。标准化的输出被命名为基于自动编码器相关性（AEC）的速率，其代表系统的信息属性，描述其健康状态并精确地识别退化起始点。我们表明，AEC技术以及推广在几个运行失败的测试。AEC完全自主地从振动数据中收集丰富的无监督特征。我们证明了AEC的优越性超过许多其他国家的最先进的方法，机器轴承的健康监测和预后。
2017-03-18 cs.LG cs.NE stat.ML
Latent Network Embedding via Adversarial Auto-encoders
Beijing University of Technology（北京工业大学）；University of Chinese Academy of Sciences（中国科学院大学）
图自动编码器已被证明是有用的网络嵌入任务。然而，目前的模型只考虑了显式结构，没有探索信息的潜在结构中凝聚在网络。为了解决这个问题，我们提出了一个潜在的网络嵌入模型的基础上对抗图自动编码器。在此框架下，发现潜在结构的问题被公式化为推断的潜在关系，从部分观察。一个潜在的传输矩阵，描述了现有的优势和潜在的关系，来自基于影响级联通过模拟网络上的扩散过程进行采样。此外，由于推理过程可能会带来额外的噪声，我们引入了对抗性训练，作为正则化来去除噪声，提高模型的鲁棒性。在链接预测和节点分类任务上的大量实验表明，与基线模型相比，该模型取得了更好的结果。
2021-09-30 cs.LG cs.SI
Automatic-differentiated Physics-Informed Echo State Network (API-ESN)
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）；Imperial College London（帝国理工学院）；Technical University of Munich（慕尼黑工业大学）
我们提出了自动区分物理信息回声状态网络（API-ESN）。该网络通过水库的精确时间导数由物理方程约束，该时间导数由自动微分计算。与原始的物理信息回声状态网络相比，时间导数的准确性提高了7个数量级。这种提高的精度是混沌动力系统的关键，其中误差随时间呈指数增长。该网络在混沌系统的不可测（隐藏）状态的重建中得到了展示。API-ESN消除了在时间导数的计算中存在于现有的物理通知回声状态网络中的误差源。这为精确重建混沌动力学状态开辟了新的可能性。
2021-03-24 cs.LG nlin.CD
Direct Optimization through $\arg \max$ for Discrete Variational Auto-Encoder
Technion（以色列理工学院）；MIT（麻省理工学院）
连续随机变量的变分自编码器的重新参数化是减小其梯度估计方差的有效方法。在离散的情况下，可以使用Gumbel-Max技巧执行重新参数化，但是所得到的目标依赖于$\arg \max$运算并且是不可微的。与以前的作品诉诸基于softmax的松弛，我们建议直接优化它应用直接损失最小化的方法。当评估$\arg \max$操作是易处理的时，我们的建议自然地扩展到结构化离散潜变量模型。我们证明了经验的有效性，直接损失最小化技术在变分自编码器与非结构化和结构化的离散潜变量。
2019-12-08 cs.LG stat.ML
Unbiased Gradient Estimation for Variational Auto-Encoders using Coupled Markov Chains
DeepMind（深度思维）
变分自动编码器（VAE）是一种深度潜变量模型，在类似自动编码器的架构中有两个神经网络;其中一个参数化模型的可能性。通过最大似然（ML）拟合其参数具有挑战性，因为边缘似然的计算涉及潜在空间上的棘手积分;因此VAE通过最大化变分下限来训练。在这里，我们通过引入对数似然梯度的无偏估计来开发VAE的ML训练方案。我们得到的估计通过增加一组重要性样本的潜在空间，类似的重要性加权自动编码器（IWAE），然后构建一个马尔可夫链蒙特卡罗耦合过程在这个增强的空间。我们提供的条件下，估计可以计算在有限的时间和有限的方差。我们的实验表明，采用无偏估计量拟合的VAE具有更好的预测性能。
2021-06-02 cs.LG stat.ML
Discriminatively Boosted Image Clustering with Fully Convolutional Auto-Encoders
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Centre for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
传统的图像聚类方法采用两步方法，依次进行特征学习和聚类。然而，最近的研究结果表明，将分离的阶段结合在一个统一的框架中并联合训练它们可以实现更好的性能。在本文中，我们首先介绍了用于图像特征学习的全卷积自动编码器，然后提出了一个统一的聚类框架，以基于全卷积自动编码器和软$k$均值得分来联合学习图像表示和聚类中心。在学习过程的初始阶段，从自动编码器提取的表示对于后面的聚类可能不是非常有区别的。我们解决这个问题，采用了一个提升的歧视性分布，其中高分作业突出显示，低分的不强调。随着区分度的逐步提高，聚类分配分数得到区分，聚类纯度得到提高。在多个视觉基准数据集上的实验表明，我们的方法可以达到最先进的性能。
2017-03-23 cs.CV cs.LG
An Explainable Gaussian Process Auto-encoder for Tabular Data
Electrical Engineering, Columbia University（哥伦比亚大学电子工程系）
针对高风险场景下黑盒模型的可解释需求，提出基于高斯过程的自动编码器反事实生成方法，搭配新型密度估计器与正则化率选择算法，可在表格数据上生成更多样的分布内反事实样本且更不易过拟合。
2025-08-31 cs.AI cs.LG
Variational Recurrent Auto-Encoders
University of Amsterdam（阿姆斯特丹大学）
在本文中，我们提出了一个结合RNN和SGVB优势的模型：变分递归自动编码器（VRAE）。这样的模型可以用于对时间序列数据进行有效的大规模无监督学习，将时间序列数据映射到潜在向量表示。该模型是生成的，使得数据可以从潜在空间的样本生成。这项工作的一个重要贡献是，该模型可以利用未标记的数据，通过初始化权重和网络状态来促进RNN的监督训练。
2015-06-15 cs.LG cs.NE stat.ML
