On the Latent Space of Wasserstein Auto-Encoders
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）
我们研究了潜在的空间维度在Wasserstein自动编码器（WAE）中的作用。通过对合成数据集和真实数据集的实验，我们认为随机编码器应该优于确定性编码器。我们强调了WAE的代表性学习的潜力，并在基准解纠缠任务上取得了令人鼓舞的结果。
2018-02-11 cs.LG stat.ML
What Regularized Auto-Encoders Learn from the Data Generating Distribution
University of Montreal（蒙特利尔大学）
自动编码器了解底层数据生成分布的哪些信息？最近的工作表明，一些自动编码器变体在捕获数据的局部流形结构方面做得很好。本文澄清了一些这些以前的观察，通过显示，最小化一个特定形式的正则化重建误差产生一个重建函数，局部特征的数据生成密度的形状。我们表明，自动编码器捕获的分数（相对于输入的对数密度的衍生物）。这与以前将重建误差解释为能量函数相矛盾。与以前的结果不同，这里提供的定理是完全通用的，并且不依赖于自动编码器的参数化：它们显示了如果给定足够的容量和示例，自动编码器会倾向于什么。这些结果是针对收缩训练标准的，我们表明其类似于具有小腐败噪声的去噪自动编码器训练标准，但是收缩应用于整个重建函数而不仅仅是编码器。与分数匹配类似，可以将所提出的训练标准视为最大似然的方便替代方案，因为它不涉及分区函数。最后，我们展示了如何近似的大都会黑斯廷斯MCMC可以设置从估计的分布中恢复样本，这在采样实验中得到了证实。
2014-08-19 cs.LG stat.ML
Wasserstein Auto-Encoders
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Brain（谷歌大脑）
我们提出了Wasserstein自动编码器（WAE）-一种新的算法，用于建立数据分布的生成模型。WAE最小化模型分布和目标分布之间的瓦瑟斯坦距离的惩罚形式，这导致与变分自动编码器（VAE）所使用的正则化器不同的正则化器。这个正则化器鼓励编码的训练分布与先验匹配。我们比较我们的算法与其他几种技术，并表明它是一个泛化的对抗性自动编码器（AAE）。我们的实验表明，WAE共享VAE的许多属性（稳定的训练，编码器-解码器架构，良好的潜在流形结构），同时生成更好质量的样本，如FID分数所衡量的。
2019-12-05 cs.LG stat.ML
Implicit Density Estimation by Local Moment Matching to Sample from Auto-Encoders
University of Montreal（蒙特利尔大学）
最近的工作表明，一些自动编码器变体在捕获未知数据生成密度的局部流形结构方面做得很好。本文有助于从数学上理解这一现象，并有助于基于自动编码器变体为深度学习定义更合理的采样算法。我们考虑MCMC，其中每个步骤从高斯采样，其均值和协方差矩阵取决于先前的状态，通过其渐近分布定义目标密度。首先，我们证明了这些均值和协方差函数的良好选择（在一致性的意义上）是该目标密度下的局部期望值和协方差。然后，我们表明，一个压缩惩罚的自动编码器捕获这些局部矩在其重建函数和雅可比矩阵的估计。因此，这项工作的贡献是一种新的替代最大似然密度估计，我们称之为本地矩匹配。它还证明了最近提出的压缩自动编码器的采样算法，并将其扩展到去噪自动编码器。
2012-06-30 cs.LG stat.ML
Variational Graph Auto-Encoders
University of Amsterdam（阿姆斯特丹大学）；Canadian Institute for Advanced Research (CIFAR)（加拿大高级研究院）
我们介绍了变分图自动编码器（VGAE），一个基于变分自动编码器（VAE）的图结构数据无监督学习框架。该模型利用潜变量，能够学习无向图的可解释的潜表示。我们使用图卷积网络（GCN）编码器和一个简单的内积解码器来演示这个模型。我们的模型在引用网络中的链接预测任务上取得了有竞争力的结果。与大多数现有的对图结构数据和链接预测进行无监督学习的模型相比，我们的模型可以自然地包含节点特征，这显著提高了许多基准数据集的预测性能。
2016-11-21 cs.LG stat.ML
Scalable Convolutional Dictionary Learning with Constrained Recurrent Sparse Auto-encoders
Harvard University（哈佛大学）；Manifold AI（Manifold人工智能公司）
给定一组观测信号的卷积字典，精心设计的自动编码器能否在存在噪声的情况下恢复字典？我们引入了一个自动编码器架构，称为约束循环稀疏自动编码器（CRsAE），回答这个问题的肯定。给定输入信号和近似字典，编码器使用FISTA找到稀疏近似。解码器通过将字典应用于编码器的输出来重构信号。CRsAE中的编码器和解码器在用于字典学习的基于优化的交替最小化方案中并行稀疏编码和字典更新步骤。因此，编码器和解码器的参数不是独立的，这是我们第一次强制执行的约束。我们推导出反向传播算法CRsAE。CRsAE是一个盲声源分离的框架，只有知道源（字典元素）的数量，并假设稀疏-许多可以重叠，是能够分离它们。我们证明了它的实用程序的背景下，尖峰排序，计算神经科学中的声源分离问题。我们证明了CRsAE的能力，以恢复潜在的字典，并表征其灵敏度作为SNR的函数。
2018-07-12 cs.LG stat.ML
Creation of a Deep Convolutional Auto-Encoder in Caffe
本文介绍了在Caffe深度学习框架中开发深度（堆叠）卷积自动编码器。我们描述了我们用来在Caffe中创建这个模型的简单原则。所提出的卷积自动编码器模型还没有池化/解池化层。我们的实验研究的结果表明，与经典的自动编码器相比，MNIST数据集的例子的降维精度相当。
2016-04-22 cs.CV cs.LG cs.NE
Contractive De-noising Auto-encoder
College of Electronics and Information Engineering, Tongji University（同济大学电子与信息工程学院）
自动编码器是一种特殊的基于重构的神经网络。去噪自动编码器（DAE）是一种改进的自动编码器，它通过先破坏原始数据，然后通过最小化重构误差函数来重构原始输入，从而对输入具有鲁棒性。而压缩式自动编码器（CAE）是另一种改进的自动编码器，通过引入学习特征相对于原始输入的矩阵的Frobenius范数来学习鲁棒特征。本文将去噪自编码器和压缩自编码器相结合，提出了一种对原始输入和学习特征都具有鲁棒性的改进自编码器--压缩去噪自编码器（CDAE）。我们堆叠CDAE提取更抽象的特征，并应用SVM进行分类。在基准数据集MNIST上的实验结果表明，该方法的性能优于DAE和CAE，证明了该方法的有效性。
2014-04-23 cs.LG
Effective Decoding in Graph Auto-Encoder using Triadic Closure
Hong Kong University of Science and Technology（香港科技大学）；Amazon（亚马逊）
（变分）图自动编码器及其变体已广泛用于图结构数据的表示学习。虽然编码器通常是强大的图卷积网络，但解码器通过一次仅考虑两个节点来重建图结构，从而忽略边缘之间可能的相互作用。另一方面，同时考虑整个图的结构化预测在计算上是昂贵的。在本文中，我们利用了著名的三元封闭性，这是在许多现实世界的网络。我们提出了三和弦解码器，它考虑和预测的三个边缘参与一个本地三和弦在一起。三元组解码器可以很容易地用于任何基于图形的自动编码器。特别是，我们将其纳入（变分）图自动编码器。在链接预测、节点聚类和图生成等方面的实验表明，使用三元组可以更准确地预测、聚类和更好地保持图的特征。
2019-11-26 cs.LG stat.ML
Cross-modal Variational Auto-encoder with Distributed Latent Spaces and Associators
Seoul National University（首尔大学）；Samsung SDS（三星SDS）；Samsung Research（三星研究院）
在本文中，我们提出了一种新的结构的跨模态数据关联，这是最近的研究大脑的联想学习结构的启发。我们在贝叶斯推理框架中制定了跨模态关联，该框架由具有多个变分自动编码器和变分关联器的深度神经网络实现。变分关联器在表示不同模态的自动编码器之间转移潜在空间。所提出的结构成功地关联，甚至异构模态数据，并很容易地将额外的模态通过建议的跨模态关联器到整个网络。此外，由于自动编码器可以通过无监督的方式进行训练，因此所提出的结构可以仅用少量的成对数据进行训练。通过实验，该结构的有效性进行了验证，在各种数据集，包括视觉和听觉数据。
2019-05-30 cs.LG stat.ML
Decoupling feature propagation from the design of graph auto-encoders
University of Cambridge（剑桥大学）
我们提出了两个实例，L-GAE和L-VGAE，变分图自动编码家族（VGAE）的基础上分离的特征传播操作从图卷积层通常发现在图学习方法的一个单一的线性矩阵计算之前，在标准的自动编码器架构的输入。这种解耦实现了自动编码器的独立和固定设计，而不需要针对节点的局部感受野的大小的每一个期望的增加而需要额外的GCN层。固定自动编码器能够更公平地评估建筑表示中节点感受野的大小。此外，修复自动编码器设计的副产品通常会导致网络比VGAE对应的网络小得多，特别是当我们增加特征传播的数量时。对链接预测任务的比较下游评估显示出与类似的VGAE布置相当的最新性能，尽管相当简化。我们还展示了我们的方法更具有挑战性的表示学习场景，如时空图表示学习的简单应用。
2019-10-18 cs.LG stat.ML
Unsupervised Star Galaxy Classification with Cascade Variational Auto-Encoder
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；The University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
天文学中数据量的不断增加给机器学习研究带来了巨大的挑战。以前，监督学习方法取得了令人满意的识别精度的恒星星系分类任务的基础上，手动标记的数据集。在这项工作中，我们提出了一种新的无监督的方法的恒星星系识别任务，即级联变分自动编码器（CasVAE）。我们的实证结果表明，我们的方法优于基线模型的准确性和稳定性。
2019-10-30 cs.LG stat.ML
L2G Auto-encoder: Understanding Point Clouds by Local-to-Global Reconstruction with Hierarchical Self-Attention
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心）；University of Maryland（马里兰大学）
自动编码器是自重构点云数据编码和解码过程中理解点云数据的重要结构。目前的自动编码器主要关注于通过全局形状重构来学习全局结构，而忽略了对局部结构的学习。为了解决这个问题，我们提出了局部到全局自动编码器（L2 G-AE），通过局部到全局重建同时学习点云的局部和全局结构。具体地，L2 G-AE采用编码器来同时对局部区域中的多个尺度的几何信息进行编码。此外，我们还引入了一种新颖的分层自注意力机制，突出编码器信息聚合中不同层次的重要点、尺度和区域。同时，L2 G-AE采用递归神经网络（RNN）作为解码器，在局部区域中重建一系列尺度，在此基础上增量重建全局点云。我们在形状分类，检索和上采样方面的出色结果表明，L2 G-AE可以比最先进的方法更好地理解点云。
2019-08-02 cs.CV cs.LG
Radon Sobolev Variational Auto-Encoders
Université Paris Dauphine - PSL Research University（巴黎第九大学-巴黎文理研究大学）；CEREMADE（CEREMADE（巴黎第九大学应用数学研究中心））
生成模型（如生成对抗网络和变分自动编码器）的质量在很大程度上取决于选择良好的概率距离。然而，一些常用的度量如Wasserstein距离、Sliced Wasserstein距离、Jensen-Shannon散度、Kullback-Leibler散度等缺乏方便的性质，如（测地线）凸性、快速求值等，为了解决这些缺点，我们引入了一类具有内建凸性的距离.我们调查的关系与一些已知的范例（切片距离-拉东距离的同义词-，再生核希尔伯特空间，能量距离）。的距离被证明具有快速的实现，并包括在一个适应变分自动编码器称为拉东Sobolev变分自动编码器（RS-VAE），产生高质量的结果标准生成数据集。关键词：变分自动编码器;生成模型; Sobolev空间; Radon Sobolev变分自动编码器;
2021-04-14 cs.AI cs.CV cs.LG
Fisher Auto-Encoders
Duke University（杜克大学）；University of Minnesota（明尼苏达大学）
它已被证实，费舍尔分歧是更强大的模型的不确定性比传统的Kullback-Leibler（KL）分歧。这激发了一类新的鲁棒生成式自动编码器（AE）的设计，称为Fisher自动编码器。我们的方法是通过最小化观测数据和潜变量的难处理的联合分布与假设/建模的联合分布之间的Fisher发散来设计Fisher AE。与基于KL的变分AE（VAE）相比，Fisher AE可以精确地量化真实和基于模型的后验分布之间的距离。提供了MNIST和celebA数据集的定性和定量结果，证明了Fisher AE与其他AE（如VAE和Wasserstein AE）相比在稳健性方面的竞争性能。
2020-10-23 cs.LG stat.ML
Graph Attention Auto-Encoders
Arizona State University（亚利桑那州立大学）
自动编码器已经成为无监督学习的成功框架。然而，传统的自动编码器不能利用结构化数据中的显式关系。为了利用图结构数据中的关系，最近提出了几种图自动编码器，但它们忽略了重建图结构或节点属性。在本文中，我们提出了图形注意力自动编码器（GATE），一个神经网络架构的无监督表示学习的图形结构的数据。我们的架构是能够重建图形结构的输入，包括节点属性和图形结构，通过堆叠的编码器/解码器层配备自注意力机制。在编码器中，通过将节点属性视为初始节点表示，每个层通过关注其邻居的表示来生成节点的新表示。在解码器中，我们尝试逆编码过程来重构节点属性。此外，节点表示正则化，以重建图结构。我们提出的架构不需要预先知道图的结构，因此它可以应用于归纳学习。我们的实验表明，在几个节点分类基准数据集上，对于转换和归纳任务，我们的性能具有竞争力，在大多数情况下甚至超过了监督学习基线的性能。
2019-05-26 cs.LG cs.SI stat.ML
A Deep Convolutional Auto-Encoder with Pooling - Unpooling Layers in Caffe
本文介绍了Caffe深度学习框架中深度卷积自动编码器的几种模型的开发及其在MNIST数据集示例上的实验评估。我们已经创建了卷积自动编码器的五个模型，它们在架构上的不同之处在于自动编码器的编码器和解码器部分中是否存在池化和非池化层。我们的研究结果表明，开发的模型提供了很好的结果，在降维和无监督聚类任务，和小的分类错误时，我们使用学习的内部代码作为一个有监督的线性分类器和多层感知器的输入。最好的结果是由一个模型提供的，其中编码器部分包含卷积层和池化层，然后是一个类似的解码器部分，具有去卷积层和去池化层，而无需在解码器部分中使用开关变量。本文还讨论了在非常流行的Caffe深度学习框架中创建深度卷积自动编码器的实际细节。我们相信，本文中提出的方法和结果可以帮助其他研究人员在未来构建高效的深度神经网络架构。
2017-01-18 cs.CV cs.LG cs.NE
Variational auto-encoders with Student's t-prior
Lund University（隆德大学）；Halmstad University（哈尔姆斯塔德大学）
我们提出了一个新的结构变分自动编码器（VAE）的先验，弱信息的多元学生的t分布。在所提出的模型中，所有分布参数都经过训练，从而允许对底层数据分布进行更鲁棒的近似。我们在两个实验中使用Fashion-MNIST数据来比较所提出的VAE与标准高斯先验。这两个实验都表明，使用学生的t先验分布的VAE图像的更好的重建。
2020-04-06 cs.LG stat.ML
Discriminative Recurrent Sparse Auto-Encoders
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）
我们提出了判别式递归稀疏自动编码器模型，包括整流线性单元的递归编码器，展开固定次数的迭代，并连接到两个线性解码器，重建输入并预测其监督分类。通过时间反向传播的训练最初使无监督稀疏重建误差最小化;然后用监督分类上的判别项来增强损失函数。时间展开形式中隐含的深度允许系统展示深度网络的所有功能，同时大幅减少可训练参数的数量。从最初的非结构化网络中，隐藏单元分为类别单元，每个类别单元代表一个具有明确定义的类的输入原型;以及部分单元代表这些原型的变形。递归编码器的学习组织是分层的：部分单元直接由输入驱动，而分类单元的活动通过与部分单元的交互随着时间的推移而建立。即使每层使用少量的隐藏单元，判别式递归稀疏自编码器在MNIST上也能实现出色的性能。
2013-03-19 cs.CV cs.LG
Saturating Auto-Encoders
Courant Institute of Mathematical Science（库朗数学科学研究所）；New York University（纽约大学）
我们介绍了一个简单的新的自动编码器，其隐藏单元激活函数包含至少一个零梯度（饱和）区域的正则化。该正则化子明确地鼓励在对应的激活函数的饱和区域中的激活。我们称之为饱和自动编码器（SATAE）。我们表明，饱和正则化显式限制了SATAE的能力，重建输入附近的数据流形。此外，我们表明，各种各样的功能可以学习时，使用不同的激活函数。最后，与压缩和稀疏自动编码器建立连接。
2013-03-20 cs.LG
Improving auto-encoder novelty detection using channel attention and entropy minimization
Zhejiang University of Technology（浙江工业大学）；Tianjin University of Technology（天津理工大学）
新颖性检测是一个重要的研究领域，主要解决由正常样本组成的内点和由异常样本组成的离群点的分类问题。自动编码器常用于新颖性检测。然而，自动编码器的泛化能力可能会导致不期望的异常元素的重建，降低模型的识别能力。为了解决这一问题，本文从更好地重构正态样本以及保留正态样本的独特信息的角度出发，来提高自动编码器的新颖性检测性能。首先，我们将注意力机制引入到任务中。在注意力机制的作用下，自动编码器可以通过对抗训练来更加关注内点样本的表示。其次，我们将信息熵引入到潜在层中，使其稀疏化，并约束多样性的表达。在三个公开数据集上的实验结果表明，该方法与以前流行的方法相比，具有相当的性能。
2021-05-10 cs.CV cs.LG eess.IV
Direct Optimization through $\arg \max$ for Discrete Variational Auto-Encoder
Technion（以色列理工学院）；MIT（麻省理工学院）
连续随机变量的变分自编码器的重新参数化是减小其梯度估计方差的有效方法。在离散的情况下，可以使用Gumbel-Max技巧执行重新参数化，但是所得到的目标依赖于$\arg \max$运算并且是不可微的。与以前的作品诉诸基于softmax的松弛，我们建议直接优化它应用直接损失最小化的方法。当评估$\arg \max$操作是易处理的时，我们的建议自然地扩展到结构化离散潜变量模型。我们证明了经验的有效性，直接损失最小化技术在变分自编码器与非结构化和结构化的离散潜变量。
2019-12-08 cs.LG stat.ML
Unbiased Gradient Estimation for Variational Auto-Encoders using Coupled Markov Chains
DeepMind（深度思维）
变分自动编码器（VAE）是一种深度潜变量模型，在类似自动编码器的架构中有两个神经网络;其中一个参数化模型的可能性。通过最大似然（ML）拟合其参数具有挑战性，因为边缘似然的计算涉及潜在空间上的棘手积分;因此VAE通过最大化变分下限来训练。在这里，我们通过引入对数似然梯度的无偏估计来开发VAE的ML训练方案。我们得到的估计通过增加一组重要性样本的潜在空间，类似的重要性加权自动编码器（IWAE），然后构建一个马尔可夫链蒙特卡罗耦合过程在这个增强的空间。我们提供的条件下，估计可以计算在有限的时间和有限的方差。我们的实验表明，采用无偏估计量拟合的VAE具有更好的预测性能。
2021-06-02 cs.LG stat.ML
Discriminatively Boosted Image Clustering with Fully Convolutional Auto-Encoders
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Centre for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
传统的图像聚类方法采用两步方法，依次进行特征学习和聚类。然而，最近的研究结果表明，将分离的阶段结合在一个统一的框架中并联合训练它们可以实现更好的性能。在本文中，我们首先介绍了用于图像特征学习的全卷积自动编码器，然后提出了一个统一的聚类框架，以基于全卷积自动编码器和软$k$均值得分来联合学习图像表示和聚类中心。在学习过程的初始阶段，从自动编码器提取的表示对于后面的聚类可能不是非常有区别的。我们解决这个问题，采用了一个提升的歧视性分布，其中高分作业突出显示，低分的不强调。随着区分度的逐步提高，聚类分配分数得到区分，聚类纯度得到提高。在多个视觉基准数据集上的实验表明，我们的方法可以达到最先进的性能。
2017-03-23 cs.CV cs.LG
Hierarchical VampPrior Variational Fair Auto-Encoder
University of Amsterdam（阿姆斯特丹大学）
决策是一个非常容易产生不同偏见的过程。在本文中，我们考虑学习公平的表示，旨在消除滋扰（敏感）信息的决策过程。为此，我们建议使用深度生成建模，并采用分层变分自动编码器来学习这些公平表示。此外，我们利用互信息作为一个有用的正则化强制公平的表示。在两个基准数据集和两种情况下，敏感变量是完全和部分可观察的实验中，我们表明，所提出的方法要么优于或表现与当前最佳模型。
2018-07-03 cs.LG stat.ML
Self-Supervised Variational Auto-Encoders
University of Amsterdam（阿姆斯特丹大学）；BrainCreators；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
密度估计、压缩和数据生成是人工智能中的关键任务。可变自动编码器（VAE）构成了实现这些目标的单一框架。在这里，我们提出了一类新的生成模型，称为自监督变分自动编码器（selfVAE），利用确定性和离散变分后验。这类模型允许执行条件和无条件采样，同时简化目标函数。首先，我们使用单个自监督变换作为潜在变量，其中变换是缩小或边缘检测。接下来，我们考虑分层架构，即，多个转换，我们展示了它的好处相比，VAE。selfVAE在数据重建中的灵活性在数据压缩任务中发现了一个特别有趣的用例，在其中我们可以权衡内存以获得更好的数据质量，反之亦然。我们提出了我们的方法在三个基准图像数据（Cifar10，Imagenette64和CelebA）的性能。
2020-10-06 cs.LG stat.ML
Relating graph auto-encoders to linear models
University of Tübingen（图宾根大学）
本文证明图自编码器的解空间是线性映射解空间的子集，指出节点特征而非编码器非线性才是更强的归纳偏置，并通过实验表明使用特征信息时线性编码器可优于非线性编码器。
2023-11-30 cs.LG
Continuous Hierarchical Representations with Poincaré Variational Auto-Encoders
University of Oxford（牛津大学）；DeepMind（深度思维）；Microsoft Research（微软研究院）
变分自动编码器（VAE）是学习生成模型和数据嵌入的流行方法。许多真实的数据集是分层结构的。然而，传统的VAE映射数据在一个欧氏潜在空间，不能有效地嵌入树状结构。具有负曲率的双曲空间可以。因此，我们赋予VAE与庞加莱球模型的双曲几何作为一个潜在的空间，并严格推导出必要的方法，工作与两个主要的高斯概括该空间。我们的经验表明，更好的概括看不见的数据比欧几里德同行，可以定性和定量更好地恢复层次结构。
2019-11-25 cs.LG stat.ML
An Automated Auto-encoder Correlation-based Health-Monitoring and Prognostic Method for Machine Bearings
Cyber-Physical Systems Group, Vienna University of Technology（维也纳工业大学网络物理系统组）
本文研究了一种智能化的旋转机械常见部件，特别是轴承的健康监测和预测的最终技术。在一个运行到故障的实验中，丰富的无监督的振动传感器数据的特征提取的训练稀疏自动编码器。然后，计算初始样本（在测试开始时可能是健康的）与后续样本的提取属性的相关性，并通过移动平均滤波器。标准化的输出被命名为基于自动编码器相关性（AEC）的速率，其代表系统的信息属性，描述其健康状态并精确地识别退化起始点。我们表明，AEC技术以及推广在几个运行失败的测试。AEC完全自主地从振动数据中收集丰富的无监督特征。我们证明了AEC的优越性超过许多其他国家的最先进的方法，机器轴承的健康监测和预后。
2017-03-18 cs.LG cs.NE stat.ML
PRO-Bid: Pareto-Prioritized Regret Optimization for Constraint-Aware Generative Auto-Bidding
Dalian University of Technology Dalian China；Dalian University of Technology \& City University of Hong Kong Dalian China；Alibaba International Digital Commerce Group Hangzhou China；Dalian University of Technology；Dalian University of Technology \& City University of Hong Kong；Alibaba International Digital Commerce Group
PRO-Bid通过约束解耦帕累托表示和反事实遗憾优化机制，提升自动出价在约束下的性能和价值获取能力。
2026-08-18 cs.GT cs.LG
Consistency Regularization for Variational Auto-Encoders
Vector Institute（向量研究所）；University of Toronto（多伦多大学）；Google Brain（谷歌大脑）；Princeton University（普林斯顿大学）
变分自动编码器（VAE）是无监督学习的一种强大方法。他们使可扩展的近似后验推理在潜变量模型中使用变分推理（VI）。VAE假设一个由称为编码器的深度神经网络参数化的变分族，该编码器将数据作为输入。这个编码器在所有观测中共享，这分摊了推理的成本。然而，VAE的编码器具有不期望的属性，即它将给定的观察和其语义保持变换映射到不同的潜在表示。编码器的这种“不一致性”降低了学习表示的质量，特别是对于下游任务，并且还对泛化产生负面影响。在本文中，我们提出了一种正则化方法，以加强一致性的VAE。我们的想法是尽量减少Kullback-Leibler（KL）之间的分歧变分分布时，条件的观察和变分分布时，条件的随机语义保持变换的观察。这种正则化适用于任何VAE。在我们的实验中，我们将其应用于几个基准数据集上的四种不同的VAE变体，发现它总是提高了学习表示的质量，而且还导致了更好的泛化。特别是，当应用于新变分自动编码器（NVAE）时，我们的正则化方法在MNIST和CIFAR-10上产生了最先进的性能。我们还将我们的方法应用于3D数据，发现它学习了通过下游分类任务的准确性来衡量的优质表示。
2022-06-06 cs.CV cs.LG
A Variational Auto-Encoder Model for Stochastic Point Processes
Simon Fraser University（西蒙弗雷泽大学）；Borealis AI；University of British Columbia（不列颠哥伦比亚大学）
我们提出了一种新的概率生成模型的动作序列。该模型被称为动作点过程VAE（APP-VAE），一个变分自动编码器，可以捕获的时间和类别的动作序列的分布。对各种可能的动作序列进行建模是一个挑战，我们表明可以通过APP-VAE使用潜在表示和非线性函数来参数化分布来解决这一问题，其中事件可能在序列中的下一个发生，以及在什么时间发生。我们经验验证了APP-VAE在MultiTHUMOS和Breakfast数据集上建模动作序列的有效性。
2019-04-05 cs.CV cs.LG
Chart Auto-Encoders for Manifold Structured Data
Rensselaer Polytechnic Institute（伦斯勒理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
深度生成模型在图像和信号表示学习和生成方面取得了巨大的进步。这些模型采用全欧几里德空间或有界子集作为潜在空间，然而，其平坦几何通常过于简单，无法有意义地反映数据的流形结构。在这项工作中，我们提倡使用多图表潜在空间更好的数据表示。受微分几何的启发，我们提出了一个\textbf{Chart Auto-Encoder (CAE)}，并证明了一个关于其表示能力的通用逼近定理。我们表明，训练数据的大小和网络的大小规模指数的近似误差与指数依赖于数据流形的内在维度。CAE承认理想的多方面的属性，自动编码器与一个单位的潜在空间未能遵守，主要是接近的数据。我们进行了广泛的实验与合成和现实生活中的例子，以证明CAE提供重建高保真度，保留接近的潜在空间，并产生新的数据保持附近的流形。这些实验表明，CAE是优于现有的自动编码器和变种，通过保持数据流形的拓扑结构以及其几何形状。
2020-08-13 cs.LG stat.ML
Auto-encoders: reconstruction versus compression
我们讨论了训练自动编码器以最小化重建误差和训练同一个自动编码器通过生成模型压缩数据之间的相似性和差异。使用自动编码器最小化数据的码长相当于最小化重构误差加上一些校正项，这些校正项具有解码函数的去噪或收缩特性的解释。这些术语与去噪或收缩自动编码器中使用的术语相关但不相同[Vincent et al. 2010，Rifai et al. 2011]。特别地，码长观点完全确定去噪标准的最佳噪声水平。
2015-01-23 cs.IT cs.LG cs.NE
Auto-JacoBin: Auto-encoder Jacobian Binary Hashing
University of Otago（奥塔哥大学）
二进制码可以用来加速大规模数据集中的最近邻搜索任务，因为它们对于存储和检索都是有效的。在本文中，我们提出了一个强大的自动编码器模型，保持了汉明空间中的高维数据集的几何关系。这是通过考虑训练数据点所在的流形周围的区域中的噪声去除函数来完成的。该函数的定义具有将流形附近的数据点聪明地投影到流形上的性质，并且我们用它的一阶近似来逼近该函数。实验结果表明，该方法在三个大规模高维数据集上取得了优于现有方法的结果。
2016-03-01 cs.CV cs.LG
MaskAAE: Latent space optimization for Adversarial Auto-Encoders
IIT Delhi（德里印度理工学院）；Flipkart Internet Pvt. Ltd.（Flipkart互联网私人有限公司）；TIFR（塔塔基础研究院）
神经生成模型领域由非常成功的生成对抗网络（GANs）主导，尽管它们面临着训练不稳定性和模式坍塌等挑战。具有正则化潜在空间的自动编码器（AE）为生成模型提供了一个替代框架，尽管它们的性能水平还没有达到GANs的水平。在这项工作中，我们假设AE模型的潜在空间的维度对生成的数据的质量有着至关重要的影响。假设自然产生的数据从一个“真正的”生成的潜在空间，然后由一个确定性的功能采样，我们表明，获得最佳性能时，AE模型的潜在空间的维数与“真正的”生成的潜在空间相匹配。此外，我们提出了一种称为掩码对抗自动编码器（MaskAAE）的算法，其中对抗自动编码器的潜在空间的维度通过一个过程来掩盖虚假的潜在维度，从而更接近“真实”生成潜在空间的维度。我们证明，通过实验合成和几个真实世界的数据集，所提出的配方产生更好的生成质量。
2020-05-17 cs.CV cs.LG
Rate-Distortion Auto-Encoders
University of Florida（佛罗里达大学）
最近关于深度学习的研究激发了人们对自动编码算法的兴趣。当前的努力已经指向具有大量编码单元的自动编码器架构的有效训练。在这里，我们提出了一种学习算法的自动编码器的基础上的率失真的目标，最大限度地减少互信息之间的输入和输出的自动编码器受到保真度约束。我们的目标是学习一种表示，这种表示对输入数据的贡献最小，但又足够丰富，可以在一定程度的失真下重建输入。最小化互信息充当正则化项，而保真度约束可以被理解为常规统计学习设置中的风险函数。该算法使用了最近推出的熵的无限可分矩阵的基础上，避免了插件估计的密度。使用过完备基的实验表明，率失真自动编码器可以以隐式方式学习正则化的输入输出映射。
2014-04-17 cs.LG
Auto-Encoder based Co-Training Multi-View Representation Learning
China University of Petroleum（中国石油大学）
多视图学习是一种利用对象的各种表示来挖掘有价值的知识和提高学习算法性能的学习问题，而子空间学习是多视图学习的一个重要方向。自动编码器是一种深度学习方法，它通过重构输入数据来学习原始数据的潜在特征，在此基础上，提出了一种基于自动编码器的协同训练多视图学习（Automo-encoder based Co-training Multi-View Learning，ACMVL）算法，该算法利用互补性和一致性，找到多视图的联合潜在特征表示。该算法分为两个阶段，第一阶段是训练每个视图的自动编码器，第二阶段是训练一个监督网络。有趣的是，这两个阶段共享部分权重，并通过共同训练过程相互帮助。实验结果表明，该方法可以学习到性能良好的潜在特征表示，并且每个视图的自动编码器比传统的自动编码器具有更强的重构能力。
2022-01-09 cs.LG
Variational Recurrent Auto-Encoders
University of Amsterdam（阿姆斯特丹大学）
在本文中，我们提出了一个结合RNN和SGVB优势的模型：变分递归自动编码器（VRAE）。这样的模型可以用于对时间序列数据进行有效的大规模无监督学习，将时间序列数据映射到潜在向量表示。该模型是生成的，使得数据可以从潜在空间的样本生成。这项工作的一个重要贡献是，该模型可以利用未标记的数据，通过初始化权重和网络状态来促进RNN的监督训练。
2015-06-15 cs.LG cs.NE stat.ML
Information Theoretic-Learning Auto-Encoder
University of Florida（佛罗里达大学）
提出了神经网络变分正则化的信息理论学习（ITL）发散测度。我们还探索了ITL正则化自编码器作为变分自编码贝叶斯，对抗性自编码器和生成对抗网络的替代方案，用于随机生成样本数据，而无需显式定义分区函数。本文还形式化，生成矩匹配网络下的ITL框架。
2016-03-22 cs.LG
Tessellated Wasserstein Auto-Encoders
非对抗生成模型，如变分自动编码器（VAE），Wasserstein自动编码器与最大平均差异（WAE-MMD），切片Wasserstein自动编码器（SWAE）是相对容易训练，并具有较少的模式崩溃相比，Wasserstein自动编码器与生成对抗网络（WAE-GAN）。然而，它们在近似潜在空间中的目标分布方面不是很准确，因为它们没有一个用于检测真假之间的微小差异的滤波器。为此，我们开发了一种称为Tessellated Wasserstein Auto-encoders（TWAE）的新型非对抗性框架，通过质心Voronoi细分（CVT）技术将目标分布的支持细分为给定数量的区域，并根据细分设计批量数据，而不是随机洗牌，以准确计算差异。理论上，我们证明了当镶嵌的样本数$n$和区域数$m$分别以$\mathcal{O}(\frac{1}{\sqrt{n}})$和$\mathcal{O}(\frac{1}{\sqrt{m}})$的速率变大时，对差异的估计误差减小。给定固定的$n$和$m$，使测量误差的上界最小化的必要条件是镶嵌是由CVT确定的镶嵌。TWAE对不同的非对抗性指标非常灵活，并且与VAE，WAE-MMD，SWAE相比，可以大大提高其在Fréchet起始距离（FID）方面的生成性能。此外，数值结果确实表明TWAE与对抗模型WAE-GAN竞争，证明了其强大的生成能力。
2021-03-04 cs.LG math.OC stat.ML
Differential Informed Auto-Encoder
该研究提出微分信息自编码器，结合编码器提取微分方程结构与解码器重采样，并借助物理信息神经网络生成保持原数据微分结构的新数据。
2024-10-24 cs.LG
Conservativeness of untied auto-encoders
Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；University of Montreal（蒙特利尔大学）；HEC Montreal（蒙特利尔高等商学院）
我们讨论了一个自动编码器定义一个保守的向量场，在这种情况下，它是与一个能量函数类似的数据的非归一化对数概率的必要条件和充分条件。我们证明了保守性的条件比编码器和解码器权重相同（“捆绑权重”）更一般，并且它们还取决于隐藏单元激活函数的形式，但是收缩训练标准（如去噪）将局部执行这些条件。基于这些观察，我们展示了如何使用自动编码器来提取向量场的保守分量。
2015-09-21 cs.LG
Scoring and Classifying with Gated Auto-encoders
University of Guelph（圭尔夫大学）
自动编码器可能是表示学习最著名的非概率方法。它们在概念上很简单，并且易于训练。最近的理论工作揭示了他们捕捉流形结构的能力，并与密度建模建立了联系。这促使研究人员寻求自动编码器评分的方法，这进一步促进了它们在分类中的应用。门控自动编码器（GAE）是自动编码器的一个有趣而灵活的扩展，它可以学习不同图像之间的变换或图像内的像素协方差。然而，无论是理论上还是实证上，对它们的研究都要少得多。在这项工作中，我们应用动力系统的观点GAE，推导出一个评分函数，并绘制连接到限制玻尔兹曼机。在一组深度学习基准测试中，我们还展示了它们对单标签和多标签分类的有效性。
2015-06-15 cs.LG cs.NE
Training Auto-encoders Effectively via Eliminating Task-irrelevant Input Variables
Huazhong University of Science & Technology（华中科技大学）；China Three Gorges University（三峡大学）；Wuhan Polytechnic University（武汉轻工大学）；Wuhan University（武汉大学）；University of Edinburgh（爱丁堡大学）
自动编码器通常被用作深度网络分类器的构建块来学习特征提取器，但是输入数据中的任务无关信息可能导致不良提取器并导致网络的泛化性能差。本文提出了一种基于重要性的变量选择方法，该方法首先估计变量的重要性，然后对重要性值小于阈值的变量进行丢弃，以发现并丢弃与任务无关的输入变量，从而显著提高自动编码器的性能。为了获得更好的性能，该方法可以用于堆叠的自动编码器的每一层。实验结果表明，当与我们的方法相结合时，堆叠去噪自动编码器在三个具有挑战性的数据集上实现了显着提高的性能。
2016-05-31 cs.LG
Mixture Model Auto-Encoders: Deep Clustering through Dictionary Learning
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
用于对高维数据进行聚类的最新方法利用深度自动编码器架构。由于自动编码器的黑盒性质，这些网络中的许多网络需要大量的参数，并且缺乏可解释性。我们介绍了混合模型自动编码器（MixMate），一种新的架构，通过对生成模型进行推理来聚类数据。从稀疏字典学习和混合模型的角度来看，MixMate包括几个自动编码器，每个编码器的任务是在不同的集群中重建数据，同时在潜在空间中实施稀疏性。通过对各种图像数据集的实验，我们表明，与最先进的深度聚类算法相比，MixMate实现了具有竞争力的性能，同时使用了数量级更少的参数。
2022-02-25 cs.LG eess.SP
On Optimality Conditions for Auto-Encoder Signal Recovery
SUNY Buffalo（纽约州立大学布法罗分校）；Salesforce Research（Salesforce研究院）；LogicBlox
自动编码器是无监督模型，旨在通过最小化重建成本从观察到的数据中学习模式。学习到的有用表示通常是稀疏和分布的。另一方面，压缩感知和稀疏编码假设一个数据生成过程，其中观测数据是从一些真实的潜在信号源生成的，并试图从测量中恢复相应的信号。从这个\textit{signal recovery perspective}看自动编码器使我们能够对这些技术有一个更一致的看法。在本文中，特别是，我们表明，\textit{true}隐藏表示可以近似恢复，如果权重矩阵是高度不相干的单位$ \ell^{2} $行长度和偏置向量采取的值（近似）等于数据均值的负值。恢复也变得越来越准确，在隐藏信号的稀疏性增加。此外，我们的经验表明，自动编码器能够恢复的数据生成字典时，只有数据样本。
2017-07-13 cs.LG cs.NE stat.ML
Local Distance Preserving Auto-encoders using Continuous k-Nearest Neighbours Graphs
Volkswagen Group（大众集团）
在表示学习中，保持数据相似性的自动编码器模型是一种流行的工具。在本文中，我们介绍了几个自动编码器模型，保持本地距离时，从数据空间映射到潜在的空间。我们使用一个本地的距离保持损失，是基于连续的k-最近的邻居图，这是已知的捕捉拓扑特征，在所有尺度上同时。为了提高训练性能，我们将学习制定为约束优化问题，以局部距离保持为主要目标，重建精度为约束。我们将这种方法推广到分层变分自动编码器，从而学习具有几何一致的潜在和数据空间的生成模型。我们的方法在几个标准数据集和评估指标上提供了最先进的性能。
2022-09-30 cs.LG
Deeply Coupled Auto-encoder Networks for Cross-view Classification
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
异质样本的比较广泛存在于许多应用中，特别是在图像分类任务中。在本文中，我们提出了一个简单而有效的耦合神经网络，称为深度耦合自动编码器网络（DCAN），它试图建立两个深神经网络，在每个相应的层相互耦合。在DCAN中，每个深层结构都是通过堆叠多个区分耦合的自动编码器来开发的，该编码器是一种去噪自动编码器，使用由类内紧凑性和类间惩罚组成的最大间隔标准进行训练。这种单层组件使我们的模型同时保持局部一致性，并提高其区分能力。随着层数的增加，耦合网络可以逐渐缩小两个视图之间的差距。交叉视图图像分类任务上的大量实验证明了我们的方法优于最先进的方法。
2014-02-10 cs.CV cs.LG cs.NE
Automotive Radar Interference Mitigation with Unfolded Robust PCA based on Residual Overcomplete Auto-Encoder Blocks
University Politehnica of Bucharest（布加勒斯特理工大学）；University of Bucharest（布加勒斯特大学）；Weizmann Institute of Science（魏茨曼科学研究所）
在自动驾驶中，雷达系统在检测道路上的其他车辆等目标方面发挥着重要作用。安装在不同汽车上的雷达会相互干扰，降低检测性能。用于汽车雷达干扰抑制的深度学习方法可以成功地估计目标的幅度，但无法恢复相应目标的相位。在本文中，我们提出了一种高效和有效的技术展开的鲁棒主成分分析（RPCA）的基础上，能够估计的振幅和相位的干扰存在。我们的贡献在于将残差过完备自动编码器（ROC-AE）块引入到展开RPCA的递归架构中，从而产生了一个更深入的模型，其性能显著优于展开RPCA以及其他深度学习模型。
2021-04-17 cs.CV cs.LG eess.SP
Clustering and Unsupervised Anomaly Detection with L2 Normalized Deep Auto-Encoder Representations
Nokia Technologies（诺基亚技术）
聚类对于模式识别和计算机视觉中的许多任务都是必不可少的。随着深度学习的出现，人们对学习用于聚类分析的深度无监督表示越来越感兴趣。这个领域的许多作品依赖于自动编码器的变体，并使用编码器输出作为聚类的表示/特征。在本文中，我们证明了在自动编码器训练期间对这些表示的l2归一化约束，使得训练后的表示在欧几里得空间中更加可分离和紧凑。这大大提高了聚类的准确性时，k均值聚类的表示。我们还提出了一种基于聚类的无监督异常检测方法，使用l2归一化深度自动编码器表示。我们显示了l2归一化对异常检测精度的影响。我们进一步表明，所提出的异常检测方法大大提高了准确性相比，以前提出的深层方法，如基于重建误差的异常检测。
2018-02-01 cs.LG
A Structured Variational Auto-encoder for Learning Deep Hierarchies of Sparse Features
在这篇文章中，我们提出了一个自然图像的生成模型，该模型由深层的潜在随机变量层组成，每个变量都遵循一种新的分布类型，我们称之为整流高斯分布。这些整流高斯单位允许尖峰和板型稀疏，同时保留有效的随机梯度变分推断所需的可微性。为了学习新模型的参数，我们用变分自动编码器近似隐变量的后验。然而，编码器参数化了一种新型的结构化变分近似，而不是进行通常的平均场假设，该结构化变分近似保留了生成模型的先验依赖性。使用这种结构化的后验近似，我们能够对具有多层潜在随机变量的深度模型进行联合训练，而不必求助于堆叠或其他逐层训练过程。
2016-02-28 cs.LG stat.CO stat.ML
Pivotal Auto-Encoder via Self-Normalizing ReLU
Technion（以色列理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文将稀疏自编码器形式化为变换学习问题，提出基于平方根lasso的枢轴自编码器架构，使预训练模型对测试时噪声水平不变，并在去噪任务中验证了其稳定性显著优于常用架构。
2024-06-23 cs.LG eess.SP stat.ML
Optimal Sparse Linear Auto-Encoders and Sparse PCA
Yahoo Labs（雅虎实验室）
主成分分析（PCA）是数据的最佳线性自动编码器，通常用于构造特征。在主成分上实施稀疏性可以促进更好的泛化，同时提高特征的可解释性。我们研究了构造最优稀疏线性自编码器的问题。在这样的设置中，两个自然的问题是：i）给定稀疏性水平，可以实现的PCA的最佳近似是什么？ii）是否有低阶多项式时间算法，可以渐近实现稀疏性和近似质量之间的最佳权衡？在这项工作中，我们回答了这两个问题，给出了有效的低阶多项式时间算法构造渐近\emph{optimal}线性自动编码器（特别是，稀疏功能与近PCA重建误差），并证明了我们的算法在真实数据上的性能。
2015-02-23 cs.AI cs.IT cs.LG
