AutoDiscern: Rating the Quality of Online Health Information with Hierarchical Encoder Attention-based Neural Networks
University Hospital of Zurich（苏黎世大学医院）；University of Zurich（苏黎世大学）；Yale University School of Medicine（耶鲁大学医学院）
越来越多的患者在与健康专业人员交谈之前或代替与健康专业人员交谈，转向搜索引擎和在线内容。低质量的健康信息在互联网上很常见，以错误信息的形式给患者带来风险，并可能与他们的医生关系更差。为了解决这个问题，DISCERN标准（在牛津大学开发）用于评估在线健康信息的质量。然而，患者不太可能花时间将这些标准应用于他们访问的健康网站。我们使用机器学习模型构建了DISCERN仪器（简要版）的自动化实现。我们使用两种语言嵌入，BERT和BioBERT，比较了传统模型（随机森林）与分层编码器注意力神经网络（HEA）模型的性能。HEA BERT和BioBERT模型在所有标准下的平均F1-macro得分分别为0.75和0.74，优于随机森林模型（平均F1-macro = 0.69）。总体而言，基于神经网络的模型在100%和80%的覆盖率下分别实现了81%和86%的平均准确率，而手动评级准确率为94%。在HEA架构中实现的注意力机制不仅通过为满足Brief DISCERN标准的文档识别合理的支持语句来提供“模型可解释性”，而且与没有注意力机制的相同架构相比，还将F1性能提高了0.05。我们的研究表明，自动化在线健康信息质量评估是可行的，这是使患者成为医疗保健过程中知情合作伙伴的重要一步。
2020-05-26 cs.CL cs.CY cs.LG
Improving auto-encoder novelty detection using channel attention and entropy minimization
Zhejiang University of Technology（浙江工业大学）；Tianjin University of Technology（天津理工大学）
新颖性检测是一个重要的研究领域，主要解决由正常样本组成的内点和由异常样本组成的离群点的分类问题。自动编码器常用于新颖性检测。然而，自动编码器的泛化能力可能会导致不期望的异常元素的重建，降低模型的识别能力。为了解决这一问题，本文从更好地重构正态样本以及保留正态样本的独特信息的角度出发，来提高自动编码器的新颖性检测性能。首先，我们将注意力机制引入到任务中。在注意力机制的作用下，自动编码器可以通过对抗训练来更加关注内点样本的表示。其次，我们将信息熵引入到潜在层中，使其稀疏化，并约束多样性的表达。在三个公开数据集上的实验结果表明，该方法与以前流行的方法相比，具有相当的性能。
2021-05-10 cs.CV cs.LG eess.IV
Saturating Auto-Encoders
Courant Institute of Mathematical Science（库朗数学科学研究所）；New York University（纽约大学）
我们介绍了一个简单的新的自动编码器，其隐藏单元激活函数包含至少一个零梯度（饱和）区域的正则化。该正则化子明确地鼓励在对应的激活函数的饱和区域中的激活。我们称之为饱和自动编码器（SATAE）。我们表明，饱和正则化显式限制了SATAE的能力，重建输入附近的数据流形。此外，我们表明，各种各样的功能可以学习时，使用不同的激活函数。最后，与压缩和稀疏自动编码器建立连接。
2013-03-20 cs.LG
Part-based approximations for morphological operators using asymmetric auto-encoders
Centre for Mathematical Morphology, Mines ParisTech, PSL Research University（巴黎文理研究大学巴黎高等矿业学院数学形态学中心）；LTCI, Télécom ParisTech, Université Paris-Saclay（巴黎萨克雷大学巴黎高等电信学院LTCI实验室）
本文讨论的问题，建立一个部分为基础的表示的图像数据集。更确切地说，我们在一组减少的原子上寻找图像的非负稀疏分解，以揭示数据的形态和可解释的结构。此外，我们希望为任何不属于初始数据集的新样本在线计算此分解。因此，我们的解决方案依赖于一个稀疏的、非负的自动编码器，其中编码器是深的（为了准确性），解码器是浅的（为了可解释性）。这种方法相比，有利的两个数据集（MNIST和时尚MNIST）的最先进的在线方法，根据经典的度量和一个新的，我们介绍的基础上，表示形态膨胀的不变性。
2019-04-03 cs.CV cs.LG math.ST
Conservativeness of untied auto-encoders
Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；University of Montreal（蒙特利尔大学）；HEC Montreal（蒙特利尔高等商学院）
我们讨论了一个自动编码器定义一个保守的向量场，在这种情况下，它是与一个能量函数类似的数据的非归一化对数概率的必要条件和充分条件。我们证明了保守性的条件比编码器和解码器权重相同（“捆绑权重”）更一般，并且它们还取决于隐藏单元激活函数的形式，但是收缩训练标准（如去噪）将局部执行这些条件。基于这些观察，我们展示了如何使用自动编码器来提取向量场的保守分量。
2015-09-21 cs.LG
Self-supervised Learning of Echocardiographic Video Representations via Online Cluster Distillation
Department of Engineering Science, University of Oxford（工程科学系，牛津大学）；Nuffield Department of Women’s and Reproductive Health, University of Oxford（妇女与生殖健康系，牛津大学）；Fundamental AI Lab, University of Technology Nuremberg（基础人工智能实验室，纽伦堡技术大学）；University of Amsterdam（阿姆斯特丹大学）
DISCOVR通过在线聚类蒸馏实现心脏超声视频的自监督学习，结合时序动态和细粒度空间语义，提升临床任务性能。
2026-01-23 cs.AI cs.CV cs.CY
OadTR: Online Action Detection with Transformers
Huazhong University of Science and Technology（华中科技大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
最近的在线动作检测方法倾向于应用递归神经网络（RNN）来捕获长范围的时间结构。然而，RNN存在非并行性和梯度消失的问题，因此很难优化。在本文中，我们提出了一个新的编码器-解码器框架的基础上，Transformers，命名为OadTR，以解决这些问题。编码器附加了一个任务令牌，旨在捕捉历史观测之间的关系和全局交互。解码器通过聚集预期的未来剪辑表示来提取辅助信息。因此，OadTR可以通过编码历史信息并同时预测未来上下文来识别当前动作。我们在三个具有挑战性的数据集上广泛评估了拟议的OadTR：HDD，TVSeries和THUMOS 14。实验结果表明，OadTR实现了比当前基于RNN的方法更高的训练和推理速度，并且在mAP和mcAP方面都显着优于最先进的方法。代码可在https://github.com/wangxiang1230/OadTR上获得。
2021-06-21 cs.CV
Online Federation For Mixtures of Proprietary Agents with Black-Box Encoders
Department of Mathematics McMaster University（麦吉尔大学数学系）；Vector Institute Ontario（多伦多大学Vector研究所）
针对黑盒专有AI构建混合专家集成模型的难题，提出基于非合作博弈论的去中心化联邦学习算法，通过计算在线纳什均衡实现预测准确性的数量级提升。
2025-04-30 cs.AI cs.GT cs.LG
Semi-Supervised Domain Adaptation with Auto-Encoder via Simultaneous Learning
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
我们提出了一种新的半监督领域自适应框架，该框架结合了一种新的基于自动编码器的领域自适应模型与同时学习方案，该方案提供了对最先进的领域自适应模型的稳定改进。我们的框架具有很强的分布匹配属性，通过使用一种新的同时学习方案在单个图上训练源和目标自动编码器，并使用最佳修改的MMD损失目标函数。此外，我们设计了一种半监督分类方法，通过将对齐的域不变特征空间从源域转移到目标域。我们评估三个数据集，并证明我们的框架可以有效地解决脆弱的收敛（对抗）和源和目标特征空间（差异）之间的弱分布匹配问题，具有很高的适应速度，需要非常低的迭代次数。
2022-10-18 cs.CV
Estimating skeleton-based gait abnormality index by sparse deep auto-encoder
University of Montreal（蒙特利尔大学）；University of Science and Technology（科技大学）
本文提出了一种基于深度相机提供的骨骼信息来估计步态异常指数的方法。与需要提取手工特征来描述步态特征的相关工作不同，我们的方法在深度自动编码器的支持下自动执行该阶段。为了得到视觉上可解释的特征，我们在模型中嵌入了稀疏性约束。与大多数步态相关的研究类似，时间因素也被认为是我们系统中的后处理。当在包含近十万个骨架样本的数据集上进行实验时，该方法提供了有希望的结果。
2019-08-17 cs.CV
Graph-Collaborated Auto-Encoder Hashing for Multi-view Binary Clustering
Dalian Maritime University（大连海事大学）；Changzhou University（常州大学）
随着大规模数据的爆炸式增长，无监督哈希方法引起了广泛的关注，它可以通过学习紧凑的二进制代码来大大减少存储和计算。现有的无监督散列方法试图从样本中挖掘有价值的信息，但没有考虑到未标记样本的局部几何结构。此外，基于自动编码器的散列旨在最小化输入数据与二进制代码之间的重构损失，这忽略了多个源数据的潜在一致性和互补性。针对上述问题，提出了一种基于自编码器的多视图二进制聚类散列算法，该算法动态学习低秩约束的亲和图，并采用自编码器和亲和图之间的协同学习来学习统一的二进制代码，称为多视图二进制聚类图协同自编码器散列算法（Graph-Collaborated Auto-Encoder Hashing for Multi-view Binary Clustering，GCAE）.具体地说，我们提出了一个低秩约束的多视图亲和图学习模型，它可以从多视图数据中挖掘潜在的几何信息。然后，我们设计了一个编码器-解码器范例来协作多个亲和图，它可以有效地学习一个统一的二进制代码。值得注意的是，我们对二进制码施加去相关和码平衡约束，以减少量化误差。最后，我们利用交替迭代优化方案，以获得多视图聚类结果。在$5$公共数据集上进行的大量实验结果表明了该算法的有效性及其优于其他最先进算法的性能。
2023-01-06 cs.CV
Graph Attention Auto-Encoders
Arizona State University（亚利桑那州立大学）
自动编码器已经成为无监督学习的成功框架。然而，传统的自动编码器不能利用结构化数据中的显式关系。为了利用图结构数据中的关系，最近提出了几种图自动编码器，但它们忽略了重建图结构或节点属性。在本文中，我们提出了图形注意力自动编码器（GATE），一个神经网络架构的无监督表示学习的图形结构的数据。我们的架构是能够重建图形结构的输入，包括节点属性和图形结构，通过堆叠的编码器/解码器层配备自注意力机制。在编码器中，通过将节点属性视为初始节点表示，每个层通过关注其邻居的表示来生成节点的新表示。在解码器中，我们尝试逆编码过程来重构节点属性。此外，节点表示正则化，以重建图结构。我们提出的架构不需要预先知道图的结构，因此它可以应用于归纳学习。我们的实验表明，在几个节点分类基准数据集上，对于转换和归纳任务，我们的性能具有竞争力，在大多数情况下甚至超过了监督学习基线的性能。
2019-05-26 cs.LG cs.SI stat.ML
Online learning of neural state-space models
Systems and Control Laboratory, HUN-REN Institute for Computer Science and Control（系统与控制实验室，HUN-REN计算机科学与控制研究所）；Control Systems Group, Eindhoven University of Technology（控制系统组，埃因霍温理工大学）
研究基于深度学习的非线性系统识别中神经状态空间模型的在线学习，提出批处理学习管道和直接递归识别算法，经收敛性分析和仿真验证，该方法能实现高效在线自适应且模型精度高。
2026-10-14 cs.LG cs.SY eess.SY
Improved Multi-Stage Training of Online Attention-based Encoder-Decoder Models
Samsung Research（三星研究院）
在本文中，我们提出了一种改进的多阶段多任务训练策略，以提高在线基于注意力的编码器-解码器（AED）模型的性能。提出了一种基于字符编码器、基于字节对编码（BPE）的编码器和注意力解码器的三级训练方法。此外，多任务学习的基础上两个层次的语言粒度，即字符和BPE，使用。我们探索了编码器的不同预训练策略，包括双向编码器的迁移学习。我们的编码器-解码器模型与在线注意力相比，对于较小和较大的模型，分别显示出35%和10%的相对改善。在与基于长短期记忆（LSTM）的外部语言模型（LM）融合后，我们的模型在Librispeech测试干净数据上的单词错误率（WER）分别为5.04%和4.48%。
2019-12-28 cs.LG cs.SD eess.AS
EdgeNet : Encoder-decoder generative Network for Auction Design in E-commerce Online Advertising
Alibaba Group（阿里巴巴集团）；NWPU（西北工业大学）
EdgeNet提出一种编码器-解码器生成网络，打破GSP范式，利用Transformer编码器和自回归解码器提升数据效率与拍卖经济性，改善用户体验和平台收入。
2023-05-09 cs.AI cs.IR cs.LG
Discriminative Recurrent Sparse Auto-Encoders
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）
我们提出了判别式递归稀疏自动编码器模型，包括整流线性单元的递归编码器，展开固定次数的迭代，并连接到两个线性解码器，重建输入并预测其监督分类。通过时间反向传播的训练最初使无监督稀疏重建误差最小化;然后用监督分类上的判别项来增强损失函数。时间展开形式中隐含的深度允许系统展示深度网络的所有功能，同时大幅减少可训练参数的数量。从最初的非结构化网络中，隐藏单元分为类别单元，每个类别单元代表一个具有明确定义的类的输入原型;以及部分单元代表这些原型的变形。递归编码器的学习组织是分层的：部分单元直接由输入驱动，而分类单元的活动通过与部分单元的交互随着时间的推移而建立。即使每层使用少量的隐藏单元，判别式递归稀疏自编码器在MNIST上也能实现出色的性能。
2013-03-19 cs.CV cs.LG
Discriminatively Boosted Image Clustering with Fully Convolutional Auto-Encoders
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Centre for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
传统的图像聚类方法采用两步方法，依次进行特征学习和聚类。然而，最近的研究结果表明，将分离的阶段结合在一个统一的框架中并联合训练它们可以实现更好的性能。在本文中，我们首先介绍了用于图像特征学习的全卷积自动编码器，然后提出了一个统一的聚类框架，以基于全卷积自动编码器和软$k$均值得分来联合学习图像表示和聚类中心。在学习过程的初始阶段，从自动编码器提取的表示对于后面的聚类可能不是非常有区别的。我们解决这个问题，采用了一个提升的歧视性分布，其中高分作业突出显示，低分的不强调。随着区分度的逐步提高，聚类分配分数得到区分，聚类纯度得到提高。在多个视觉基准数据集上的实验表明，我们的方法可以达到最先进的性能。
2017-03-23 cs.CV cs.LG
Creation of a Deep Convolutional Auto-Encoder in Caffe
本文介绍了在Caffe深度学习框架中开发深度（堆叠）卷积自动编码器。我们描述了我们用来在Caffe中创建这个模型的简单原则。所提出的卷积自动编码器模型还没有池化/解池化层。我们的实验研究的结果表明，与经典的自动编码器相比，MNIST数据集的例子的降维精度相当。
2016-04-22 cs.CV cs.LG cs.NE
Consistency Regularization for Variational Auto-Encoders
Vector Institute（向量研究所）；University of Toronto（多伦多大学）；Google Brain（谷歌大脑）；Princeton University（普林斯顿大学）
变分自动编码器（VAE）是无监督学习的一种强大方法。他们使可扩展的近似后验推理在潜变量模型中使用变分推理（VI）。VAE假设一个由称为编码器的深度神经网络参数化的变分族，该编码器将数据作为输入。这个编码器在所有观测中共享，这分摊了推理的成本。然而，VAE的编码器具有不期望的属性，即它将给定的观察和其语义保持变换映射到不同的潜在表示。编码器的这种“不一致性”降低了学习表示的质量，特别是对于下游任务，并且还对泛化产生负面影响。在本文中，我们提出了一种正则化方法，以加强一致性的VAE。我们的想法是尽量减少Kullback-Leibler（KL）之间的分歧变分分布时，条件的观察和变分分布时，条件的随机语义保持变换的观察。这种正则化适用于任何VAE。在我们的实验中，我们将其应用于几个基准数据集上的四种不同的VAE变体，发现它总是提高了学习表示的质量，而且还导致了更好的泛化。特别是，当应用于新变分自动编码器（NVAE）时，我们的正则化方法在MNIST和CIFAR-10上产生了最先进的性能。我们还将我们的方法应用于3D数据，发现它学习了通过下游分类任务的准确性来衡量的优质表示。
2022-06-06 cs.CV cs.LG
Contractive De-noising Auto-encoder
College of Electronics and Information Engineering, Tongji University（同济大学电子与信息工程学院）
自动编码器是一种特殊的基于重构的神经网络。去噪自动编码器（DAE）是一种改进的自动编码器，它通过先破坏原始数据，然后通过最小化重构误差函数来重构原始输入，从而对输入具有鲁棒性。而压缩式自动编码器（CAE）是另一种改进的自动编码器，通过引入学习特征相对于原始输入的矩阵的Frobenius范数来学习鲁棒特征。本文将去噪自编码器和压缩自编码器相结合，提出了一种对原始输入和学习特征都具有鲁棒性的改进自编码器--压缩去噪自编码器（CDAE）。我们堆叠CDAE提取更抽象的特征，并应用SVM进行分类。在基准数据集MNIST上的实验结果表明，该方法的性能优于DAE和CAE，证明了该方法的有效性。
2014-04-23 cs.LG
A Variational Auto-Encoder Model for Stochastic Point Processes
Simon Fraser University（西蒙弗雷泽大学）；Borealis AI；University of British Columbia（不列颠哥伦比亚大学）
我们提出了一种新的概率生成模型的动作序列。该模型被称为动作点过程VAE（APP-VAE），一个变分自动编码器，可以捕获的时间和类别的动作序列的分布。对各种可能的动作序列进行建模是一个挑战，我们表明可以通过APP-VAE使用潜在表示和非线性函数来参数化分布来解决这一问题，其中事件可能在序列中的下一个发生，以及在什么时间发生。我们经验验证了APP-VAE在MultiTHUMOS和Breakfast数据集上建模动作序列的有效性。
2019-04-05 cs.CV cs.LG
Auto-JacoBin: Auto-encoder Jacobian Binary Hashing
University of Otago（奥塔哥大学）
二进制码可以用来加速大规模数据集中的最近邻搜索任务，因为它们对于存储和检索都是有效的。在本文中，我们提出了一个强大的自动编码器模型，保持了汉明空间中的高维数据集的几何关系。这是通过考虑训练数据点所在的流形周围的区域中的噪声去除函数来完成的。该函数的定义具有将流形附近的数据点聪明地投影到流形上的性质，并且我们用它的一阶近似来逼近该函数。实验结果表明，该方法在三个大规模高维数据集上取得了优于现有方法的结果。
2016-03-01 cs.CV cs.LG
MaskAAE: Latent space optimization for Adversarial Auto-Encoders
IIT Delhi（德里印度理工学院）；Flipkart Internet Pvt. Ltd.（Flipkart互联网私人有限公司）；TIFR（塔塔基础研究院）
神经生成模型领域由非常成功的生成对抗网络（GANs）主导，尽管它们面临着训练不稳定性和模式坍塌等挑战。具有正则化潜在空间的自动编码器（AE）为生成模型提供了一个替代框架，尽管它们的性能水平还没有达到GANs的水平。在这项工作中，我们假设AE模型的潜在空间的维度对生成的数据的质量有着至关重要的影响。假设自然产生的数据从一个“真正的”生成的潜在空间，然后由一个确定性的功能采样，我们表明，获得最佳性能时，AE模型的潜在空间的维数与“真正的”生成的潜在空间相匹配。此外，我们提出了一种称为掩码对抗自动编码器（MaskAAE）的算法，其中对抗自动编码器的潜在空间的维度通过一个过程来掩盖虚假的潜在维度，从而更接近“真实”生成潜在空间的维度。我们证明，通过实验合成和几个真实世界的数据集，所提出的配方产生更好的生成质量。
2020-05-17 cs.CV cs.LG
A Deep Convolutional Auto-Encoder with Pooling - Unpooling Layers in Caffe
本文介绍了Caffe深度学习框架中深度卷积自动编码器的几种模型的开发及其在MNIST数据集示例上的实验评估。我们已经创建了卷积自动编码器的五个模型，它们在架构上的不同之处在于自动编码器的编码器和解码器部分中是否存在池化和非池化层。我们的研究结果表明，开发的模型提供了很好的结果，在降维和无监督聚类任务，和小的分类错误时，我们使用学习的内部代码作为一个有监督的线性分类器和多层感知器的输入。最好的结果是由一个模型提供的，其中编码器部分包含卷积层和池化层，然后是一个类似的解码器部分，具有去卷积层和去池化层，而无需在解码器部分中使用开关变量。本文还讨论了在非常流行的Caffe深度学习框架中创建深度卷积自动编码器的实际细节。我们相信，本文中提出的方法和结果可以帮助其他研究人员在未来构建高效的深度神经网络架构。
2017-01-18 cs.CV cs.LG cs.NE
Stacked Auto Encoder Based Deep Reinforcement Learning for Online Resource Scheduling in Large-Scale MEC Networks
Hunan Normal University（湖南师范大学）；Northumbria University（诺森比亚大学）；Hunan University of Technology and Business（湖南工商大学）；Queen Mary University of London（伦敦玛丽女王大学）；Changchun Institute of Technology（长春工程学院）；University of Essex（埃塞克斯大学）
针对大规模移动边缘计算（MEC）系统，通过优化卸载决策、传输功率和资源分配，提出了一种在线资源调度框架，以最小化所有物联网（IoT）用户的加权任务延迟之和。为此，提出了一种基于深度强化学习（DRL）的解决方案，其包括以下组件。首先，采用一种具有无监督学习的相关正则化堆栈自动编码器（2 r-SAE）对高维信道质量信息（CQI）数据进行数据压缩和表示，以减少DRL的状态空间。其次，我们提出了一种基于自适应模拟退火的方法（ASA）作为DRL的动作搜索方法，其中使用自适应h-变异来引导搜索方向，并提出了自适应迭代，以提高搜索效率在DRL过程中。第三，引入一个保留和优先级的经验重放（2 p-ER）来帮助DRL训练策略网络，并找到最优的卸载策略。数值结果表明，该算法可以实现接近最优的性能，同时显着减少计算时间与现有的基准相比。
2020-04-14 cs.LG cs.NI stat.ML
Radon Sobolev Variational Auto-Encoders
Université Paris Dauphine - PSL Research University（巴黎第九大学-巴黎文理研究大学）；CEREMADE（CEREMADE（巴黎第九大学应用数学研究中心））
生成模型（如生成对抗网络和变分自动编码器）的质量在很大程度上取决于选择良好的概率距离。然而，一些常用的度量如Wasserstein距离、Sliced Wasserstein距离、Jensen-Shannon散度、Kullback-Leibler散度等缺乏方便的性质，如（测地线）凸性、快速求值等，为了解决这些缺点，我们引入了一类具有内建凸性的距离.我们调查的关系与一些已知的范例（切片距离-拉东距离的同义词-，再生核希尔伯特空间，能量距离）。的距离被证明具有快速的实现，并包括在一个适应变分自动编码器称为拉东Sobolev变分自动编码器（RS-VAE），产生高质量的结果标准生成数据集。关键词：变分自动编码器;生成模型; Sobolev空间; Radon Sobolev变分自动编码器;
2021-04-14 cs.AI cs.CV cs.LG
Relating graph auto-encoders to linear models
University of Tübingen（图宾根大学）
本文证明图自编码器的解空间是线性映射解空间的子集，指出节点特征而非编码器非线性才是更强的归纳偏置，并通过实验表明使用特征信息时线性编码器可优于非线性编码器。
2023-11-30 cs.LG
Rate-Distortion Auto-Encoders
University of Florida（佛罗里达大学）
最近关于深度学习的研究激发了人们对自动编码算法的兴趣。当前的努力已经指向具有大量编码单元的自动编码器架构的有效训练。在这里，我们提出了一种学习算法的自动编码器的基础上的率失真的目标，最大限度地减少互信息之间的输入和输出的自动编码器受到保真度约束。我们的目标是学习一种表示，这种表示对输入数据的贡献最小，但又足够丰富，可以在一定程度的失真下重建输入。最小化互信息充当正则化项，而保真度约束可以被理解为常规统计学习设置中的风险函数。该算法使用了最近推出的熵的无限可分矩阵的基础上，避免了插件估计的密度。使用过完备基的实验表明，率失真自动编码器可以以隐式方式学习正则化的输入输出映射。
2014-04-17 cs.LG
Auto-Encoder based Co-Training Multi-View Representation Learning
China University of Petroleum（中国石油大学）
多视图学习是一种利用对象的各种表示来挖掘有价值的知识和提高学习算法性能的学习问题，而子空间学习是多视图学习的一个重要方向。自动编码器是一种深度学习方法，它通过重构输入数据来学习原始数据的潜在特征，在此基础上，提出了一种基于自动编码器的协同训练多视图学习（Automo-encoder based Co-training Multi-View Learning，ACMVL）算法，该算法利用互补性和一致性，找到多视图的联合潜在特征表示。该算法分为两个阶段，第一阶段是训练每个视图的自动编码器，第二阶段是训练一个监督网络。有趣的是，这两个阶段共享部分权重，并通过共同训练过程相互帮助。实验结果表明，该方法可以学习到性能良好的潜在特征表示，并且每个视图的自动编码器比传统的自动编码器具有更强的重构能力。
2022-01-09 cs.LG
Information Theoretic-Learning Auto-Encoder
University of Florida（佛罗里达大学）
提出了神经网络变分正则化的信息理论学习（ITL）发散测度。我们还探索了ITL正则化自编码器作为变分自编码贝叶斯，对抗性自编码器和生成对抗网络的替代方案，用于随机生成样本数据，而无需显式定义分区函数。本文还形式化，生成矩匹配网络下的ITL框架。
2016-03-22 cs.LG
Deeply Coupled Auto-encoder Networks for Cross-view Classification
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
异质样本的比较广泛存在于许多应用中，特别是在图像分类任务中。在本文中，我们提出了一个简单而有效的耦合神经网络，称为深度耦合自动编码器网络（DCAN），它试图建立两个深神经网络，在每个相应的层相互耦合。在DCAN中，每个深层结构都是通过堆叠多个区分耦合的自动编码器来开发的，该编码器是一种去噪自动编码器，使用由类内紧凑性和类间惩罚组成的最大间隔标准进行训练。这种单层组件使我们的模型同时保持局部一致性，并提高其区分能力。随着层数的增加，耦合网络可以逐渐缩小两个视图之间的差距。交叉视图图像分类任务上的大量实验证明了我们的方法优于最先进的方法。
2014-02-10 cs.CV cs.LG cs.NE
Differential Informed Auto-Encoder
该研究提出微分信息自编码器，结合编码器提取微分方程结构与解码器重采样，并借助物理信息神经网络生成保持原数据微分结构的新数据。
2024-10-24 cs.LG
CF-JEPA: Mask-free forward prediction with asymmetric encoder utilization for time-series representation learning
Graduate School of Artificial Intelligence Convergence Engineering, Changwon National University（昌原国立大学人工智能融合工程研究生院）；Department of Artificial Intelligence Engineering, Changwon National University（昌原国立大学人工智能工程系）
提出CF-JEPA，一种无掩码框架，通过多时间范围前向预测替代掩码，利用时间序列的时序顺序作为学习信号；并利用在线编码器与EMA目标编码器之间的非对称性，将不同任务路由到合适的编码器，在多个基准上取得领先性能。
2026-06-05 cs.LG
On the Latent Space of Wasserstein Auto-Encoders
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）
我们研究了潜在的空间维度在Wasserstein自动编码器（WAE）中的作用。通过对合成数据集和真实数据集的实验，我们认为随机编码器应该优于确定性编码器。我们强调了WAE的代表性学习的潜力，并在基准解纠缠任务上取得了令人鼓舞的结果。
2018-02-11 cs.LG stat.ML
Training Auto-encoders Effectively via Eliminating Task-irrelevant Input Variables
Huazhong University of Science & Technology（华中科技大学）；China Three Gorges University（三峡大学）；Wuhan Polytechnic University（武汉轻工大学）；Wuhan University（武汉大学）；University of Edinburgh（爱丁堡大学）
自动编码器通常被用作深度网络分类器的构建块来学习特征提取器，但是输入数据中的任务无关信息可能导致不良提取器并导致网络的泛化性能差。本文提出了一种基于重要性的变量选择方法，该方法首先估计变量的重要性，然后对重要性值小于阈值的变量进行丢弃，以发现并丢弃与任务无关的输入变量，从而显著提高自动编码器的性能。为了获得更好的性能，该方法可以用于堆叠的自动编码器的每一层。实验结果表明，当与我们的方法相结合时，堆叠去噪自动编码器在三个具有挑战性的数据集上实现了显着提高的性能。
2016-05-31 cs.LG
Automotive Radar Interference Mitigation with Unfolded Robust PCA based on Residual Overcomplete Auto-Encoder Blocks
University Politehnica of Bucharest（布加勒斯特理工大学）；University of Bucharest（布加勒斯特大学）；Weizmann Institute of Science（魏茨曼科学研究所）
在自动驾驶中，雷达系统在检测道路上的其他车辆等目标方面发挥着重要作用。安装在不同汽车上的雷达会相互干扰，降低检测性能。用于汽车雷达干扰抑制的深度学习方法可以成功地估计目标的幅度，但无法恢复相应目标的相位。在本文中，我们提出了一种高效和有效的技术展开的鲁棒主成分分析（RPCA）的基础上，能够估计的振幅和相位的干扰存在。我们的贡献在于将残差过完备自动编码器（ROC-AE）块引入到展开RPCA的递归架构中，从而产生了一个更深入的模型，其性能显著优于展开RPCA以及其他深度学习模型。
2021-04-17 cs.CV cs.LG eess.SP
Local Distance Preserving Auto-encoders using Continuous k-Nearest Neighbours Graphs
Volkswagen Group（大众集团）
在表示学习中，保持数据相似性的自动编码器模型是一种流行的工具。在本文中，我们介绍了几个自动编码器模型，保持本地距离时，从数据空间映射到潜在的空间。我们使用一个本地的距离保持损失，是基于连续的k-最近的邻居图，这是已知的捕捉拓扑特征，在所有尺度上同时。为了提高训练性能，我们将学习制定为约束优化问题，以局部距离保持为主要目标，重建精度为约束。我们将这种方法推广到分层变分自动编码器，从而学习具有几何一致的潜在和数据空间的生成模型。我们的方法在几个标准数据集和评估指标上提供了最先进的性能。
2022-09-30 cs.LG
Clustering and Unsupervised Anomaly Detection with L2 Normalized Deep Auto-Encoder Representations
Nokia Technologies（诺基亚技术）
聚类对于模式识别和计算机视觉中的许多任务都是必不可少的。随着深度学习的出现，人们对学习用于聚类分析的深度无监督表示越来越感兴趣。这个领域的许多作品依赖于自动编码器的变体，并使用编码器输出作为聚类的表示/特征。在本文中，我们证明了在自动编码器训练期间对这些表示的l2归一化约束，使得训练后的表示在欧几里得空间中更加可分离和紧凑。这大大提高了聚类的准确性时，k均值聚类的表示。我们还提出了一种基于聚类的无监督异常检测方法，使用l2归一化深度自动编码器表示。我们显示了l2归一化对异常检测精度的影响。我们进一步表明，所提出的异常检测方法大大提高了准确性相比，以前提出的深层方法，如基于重建误差的异常检测。
2018-02-01 cs.LG
Can you text what is happening? Integrating pre-trained language encoders into trajectory prediction models for autonomous driving
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Tübingen（图宾根大学）
研究提出基于文本的交通场景表示，结合栅格化图像与预训练语言编码器生成场景嵌入，在nuScenes数据集上显著优于基线，证实联合编码器的互补优势。
2023-09-13 cs.AI cs.CV cs.LG
An Online Attention-based Model for Speech Recognition
Beijing University of Posts and Telecommunications（北京邮电大学）；Tsinghua University（清华大学）；Sogou Inc.（搜狗公司）
基于注意力的端到端模型，如听、注意和拼写（LAS），简化了传统自动语音识别（ASR）系统的整个流水线，并且在语音识别领域中变得流行。在以前的工作中，研究人员已经证明，这种架构可以获得与最先进的ASR系统相当的结果，特别是在使用双向编码器和全局软注意（GSA）机制时。然而，双向编码器和GSA是实现实时语音识别的两大障碍。在这项工作中，我们的目标是通过消除上述两个障碍流LAS基线。在编码器端，我们使用延迟控制（LC）的双向结构，以减少前向计算的延迟。同时，提出了一种自适应单调块式注意（AMoChA）机制，以取代GSA的注意力权重分布的计算。此外，我们提出了两种方法，以减轻巨大的性能下降时，结合LC和AMoChA。最后，我们成功地获得了一个在线LAS模型，LC-AMoChA，它只有3.5%的相对性能降低到LAS基线在我们的内部汉语语料库。
2019-04-25 cs.CL cs.LG cs.SD
Scoring and Classifying with Gated Auto-encoders
University of Guelph（圭尔夫大学）
自动编码器可能是表示学习最著名的非概率方法。它们在概念上很简单，并且易于训练。最近的理论工作揭示了他们捕捉流形结构的能力，并与密度建模建立了联系。这促使研究人员寻求自动编码器评分的方法，这进一步促进了它们在分类中的应用。门控自动编码器（GAE）是自动编码器的一个有趣而灵活的扩展，它可以学习不同图像之间的变换或图像内的像素协方差。然而，无论是理论上还是实证上，对它们的研究都要少得多。在这项工作中，我们应用动力系统的观点GAE，推导出一个评分函数，并绘制连接到限制玻尔兹曼机。在一组深度学习基准测试中，我们还展示了它们对单标签和多标签分类的有效性。
2015-06-15 cs.LG cs.NE
Mixture Model Auto-Encoders: Deep Clustering through Dictionary Learning
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
用于对高维数据进行聚类的最新方法利用深度自动编码器架构。由于自动编码器的黑盒性质，这些网络中的许多网络需要大量的参数，并且缺乏可解释性。我们介绍了混合模型自动编码器（MixMate），一种新的架构，通过对生成模型进行推理来聚类数据。从稀疏字典学习和混合模型的角度来看，MixMate包括几个自动编码器，每个编码器的任务是在不同的集群中重建数据，同时在潜在空间中实施稀疏性。通过对各种图像数据集的实验，我们表明，与最先进的深度聚类算法相比，MixMate实现了具有竞争力的性能，同时使用了数量级更少的参数。
2022-02-25 cs.LG eess.SP
Task-Prior Conditional Variational Auto-Encoder for Few-Shot Image Classification
在Few-Shot图像分类的场景中，Transductive方法总是优于归纳方法。然而，现有的Few-Shot方法包含一个潜在的条件：每个类中的样本数是相同的，这可能是不现实的。为了应对这些情况下，每个类的查询镜头是不均匀的（即不均匀的少样本学习），我们提出了一个任务先验条件变分自动编码器模型TP-VAE，条件支持镜头和任务级先验正则化的约束。我们的方法在更具挑战性的非均匀Few-Shot场景中获得了高性能。此外，我们的方法在广泛的标准Few-Shot图像分类场景中优于现有技术。其中，单发命中率提高了约3%。
2022-05-30 cs.CV cs.LG eess.IV
Auto-encoders: reconstruction versus compression
我们讨论了训练自动编码器以最小化重建误差和训练同一个自动编码器通过生成模型压缩数据之间的相似性和差异。使用自动编码器最小化数据的码长相当于最小化重构误差加上一些校正项，这些校正项具有解码函数的去噪或收缩特性的解释。这些术语与去噪或收缩自动编码器中使用的术语相关但不相同[Vincent et al. 2010，Rifai et al. 2011]。特别地，码长观点完全确定去噪标准的最佳噪声水平。
2015-01-23 cs.IT cs.LG cs.NE
What Regularized Auto-Encoders Learn from the Data Generating Distribution
University of Montreal（蒙特利尔大学）
自动编码器了解底层数据生成分布的哪些信息？最近的工作表明，一些自动编码器变体在捕获数据的局部流形结构方面做得很好。本文澄清了一些这些以前的观察，通过显示，最小化一个特定形式的正则化重建误差产生一个重建函数，局部特征的数据生成密度的形状。我们表明，自动编码器捕获的分数（相对于输入的对数密度的衍生物）。这与以前将重建误差解释为能量函数相矛盾。与以前的结果不同，这里提供的定理是完全通用的，并且不依赖于自动编码器的参数化：它们显示了如果给定足够的容量和示例，自动编码器会倾向于什么。这些结果是针对收缩训练标准的，我们表明其类似于具有小腐败噪声的去噪自动编码器训练标准，但是收缩应用于整个重建函数而不仅仅是编码器。与分数匹配类似，可以将所提出的训练标准视为最大似然的方便替代方案，因为它不涉及分区函数。最后，我们展示了如何近似的大都会黑斯廷斯MCMC可以设置从估计的分布中恢复样本，这在采样实验中得到了证实。
2014-08-19 cs.LG stat.ML
Wasserstein Auto-Encoders
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Brain（谷歌大脑）
我们提出了Wasserstein自动编码器（WAE）-一种新的算法，用于建立数据分布的生成模型。WAE最小化模型分布和目标分布之间的瓦瑟斯坦距离的惩罚形式，这导致与变分自动编码器（VAE）所使用的正则化器不同的正则化器。这个正则化器鼓励编码的训练分布与先验匹配。我们比较我们的算法与其他几种技术，并表明它是一个泛化的对抗性自动编码器（AAE）。我们的实验表明，WAE共享VAE的许多属性（稳定的训练，编码器-解码器架构，良好的潜在流形结构），同时生成更好质量的样本，如FID分数所衡量的。
2019-12-05 cs.LG stat.ML
Implicit Density Estimation by Local Moment Matching to Sample from Auto-Encoders
University of Montreal（蒙特利尔大学）
最近的工作表明，一些自动编码器变体在捕获未知数据生成密度的局部流形结构方面做得很好。本文有助于从数学上理解这一现象，并有助于基于自动编码器变体为深度学习定义更合理的采样算法。我们考虑MCMC，其中每个步骤从高斯采样，其均值和协方差矩阵取决于先前的状态，通过其渐近分布定义目标密度。首先，我们证明了这些均值和协方差函数的良好选择（在一致性的意义上）是该目标密度下的局部期望值和协方差。然后，我们表明，一个压缩惩罚的自动编码器捕获这些局部矩在其重建函数和雅可比矩阵的估计。因此，这项工作的贡献是一种新的替代最大似然密度估计，我们称之为本地矩匹配。它还证明了最近提出的压缩自动编码器的采样算法，并将其扩展到去噪自动编码器。
2012-06-30 cs.LG stat.ML
Alignment Knowledge Distillation for Online Streaming Attention-based Speech Recognition
Kyoto University（京都大学）
本文描述了一种有效的训练方法，在线流的注意力为基础的编码器-解码器（AED）的自动语音识别（ASR）系统。AED机型通过联合优化所有组件，在离线场景下取得了有竞争力的性能。它们最近被扩展到一个在线流媒体框架，通过模型，如单调分块注意力（MoChA）。然而，精心设计的注意力计算过程对于长形式的语音话语是不鲁棒的。此外，序列级训练目标和时间受限的流编码器在推理期间引起令牌发射的不可忽略的延迟。为了解决这些问题，我们提出了CTC同步训练（CTC-ST），其中利用CTC对齐作为令牌边界的参考，使MoChA模型能够学习最佳单调输入输出对齐。我们制定了一个纯粹的端到端培训目标，以使MoChA的界限与CTC的界限同步。CTC模型与MoChA模型共享编码器以增强编码器表示。此外，所提出的方法提供对齐信息学习的CTC分支的注意力为基础的解码器。因此，CTC-ST可以被视为从CTC到MoChA的比对知识的自升华。在多个基准数据集上的实验结果表明，该方法能够同时显著降低识别错误率和发射延迟。长形式和嘈杂的语音的鲁棒性也被证明。我们比较了CTC-ST与几种从混合ASR系统中提取对齐知识的方法，并表明CTC-ST可以在不依赖外部对齐信息的情况下实现准确性和延迟的可比权衡。最好的MoChA系统显示出与RNN换能器（RNN-T）相当的识别准确性，同时实现更低的发射延迟。
2021-08-22 cs.CL cs.LG cs.SD
Purifying Adversarial Perturbation with Adversarially Trained Auto-encoders
Iowa State University（爱荷华州立大学）
机器学习模型容易受到对抗性样本的影响。迭代对抗训练在对抗强大的白盒攻击方面表现出了良好的效果。然而，对抗训练非常昂贵，每次需要保护模型时，都需要执行这种昂贵的训练方案。在本文中，我们提出将迭代对抗训练方案应用于外部自动编码器，一旦训练好，就可以直接用于保护其他模型。我们的经验表明，我们的模型优于其他净化为基础的方法对白盒攻击，并转移直接保护其他基础模型与不同的架构。
2019-05-26 cs.CR cs.CV cs.LG
Towards Better Data Augmentation using Wasserstein Distance in Variational Auto-encoder
National University of Singapore（新加坡国立大学）；Singapore Management University（新加坡管理大学）
变分自动编码器（VAE）将数据压缩成潜在属性，并生成不同种类的新数据。基于KL散度的VAE被认为是一种有效的数据增强技术。在本文中，我们提出了使用Wasserstein距离作为潜在属性的分布相似性的度量，并显示其优越的理论下限（ELBO）相比，KL分歧在温和的条件下。通过多个实验，我们证明了新的损失函数具有更好的收敛性，并产生人工图像，可以更好地帮助图像分类任务。
2022-08-16 cs.LG
Unsupervised Hyperbolic Representation Learning via Message Passing Auto-Encoders
Seoul National University（首尔大学）；University of Birmingham（伯明翰大学）
大多数关于双曲嵌入的现有文献集中在监督学习上，而非监督双曲嵌入的使用则较少被探索。在本文中，我们分析了无监督任务如何从双曲空间中的学习表示中受益。为了探索如何以及未标记数据的层次结构可以表示在双曲空间中，我们设计了一种新的双曲消息传递自动编码器，其整体自动编码是在双曲空间中进行。该模型通过充分利用双曲几何的信息传递方式对网络进行自动编码。通过大量的定量和定性分析，我们验证了无监督双曲表示的性质和好处。代码可在https://github.com/junhocho/HGCAE上获得。
2021-03-30 cs.LG
Variational Graph Auto-Encoders
University of Amsterdam（阿姆斯特丹大学）；Canadian Institute for Advanced Research (CIFAR)（加拿大高级研究院）
我们介绍了变分图自动编码器（VGAE），一个基于变分自动编码器（VAE）的图结构数据无监督学习框架。该模型利用潜变量，能够学习无向图的可解释的潜表示。我们使用图卷积网络（GCN）编码器和一个简单的内积解码器来演示这个模型。我们的模型在引用网络中的链接预测任务上取得了有竞争力的结果。与大多数现有的对图结构数据和链接预测进行无监督学习的模型相比，我们的模型可以自然地包含节点特征，这显著提高了许多基准数据集的预测性能。
2016-11-21 cs.LG stat.ML
How Auto-Encoders Could Provide Credit Assignment in Deep Networks via Target Propagation
Université de Montréal（蒙特利尔大学）
我们建议利用{ \em重建}作为深度学习的层局部训练信号。重建可以以目标传播的形式传播，其起到类似于反向传播的作用，但有助于减少对导数的依赖，以便在可能的强非线性的许多级别上执行信用分配（这对于反向传播是困难的）。正则化自动编码器倾向于产生作为其输入的更可能版本的重构，即，向更高可能性方向的微小移动。通过概括梯度，目标传播还可以允许训练具有离散隐藏单元的深度网络。如果自动编码器在输入中采用输入和目标（或任何边信息）的表示，则其对输入表示的重构提供了朝向更可能的表示的目标，该表示以所有边信息为条件。深度自动编码器解码路径以学习的方式概括梯度传播，从而不仅可以处理无穷小的变化，而且可以处理更大的离散变化，希望允许通过非线性操作的长链进行信用分配。除了每一层都是一个很好的自动编码器之外，编码器还学会了通过将数据转换到一个更容易建模的空间，扁平化流形和解开因子来取悦上层。这种方法的动机和理论的理由是在本文中，连同将不得不被数学或实验验证，包括一个假设，说明这种自动编码器介导的目标传播可以在大脑中发挥的作用，信用分配通过许多非线性，噪声和离散的转换。
2014-09-18 cs.LG
Image Representation Learning Using Graph Regularized Auto-Encoders
State Key Laboratory of Industrial Control and Technology（工业控制技术国家重点实验室）；Zhejiang University（浙江大学）
我们考虑了无监督学习和半监督学习任务的图像表示问题。在这些学习任务中，由于原始图像向量的特征空间高度密集，因此原始图像向量可能无法提供足够的内在结构表示。为了克服这个问题，原始图像向量应该被映射到一个合适的表示空间，该空间可以捕获原始数据的潜在结构，并显式地表示数据，以用于进一步的学习任务，如聚类。受近年来深度神经网络和表示学习研究的启发，本文将多层自动编码器引入图像表示中，并将局部不变的思想应用于图像的自动编码器表示中，提出了一种新的方法，称为图正则化自动编码器（GAE）。GAE可以提供一个紧凑的表示，揭示隐藏的语义，同时尊重内在的几何结构。大量的图像聚类实验表明，令人鼓舞的结果相比，国家的最先进的算法在现实世界的情况下，该算法。
2014-02-19 cs.LG
