Bounded Information Rate Variational Autoencoders
Victoria University of Wellington（惠灵顿维多利亚大学）
本文介绍了一个新的家庭成员的变分自编码器（VAE），约束的信息传输速率的潜在层。潜在层被解释为通信信道，其信息速率通过施加预设的信噪比来约束。新的约束包含输入变量和潜变量之间的互信息，自然地与常规VAE中使用的观测数据的似然目标相结合。所得到的有界信息速率变分自编码器（BIR-VAE）提供了具有信息分辨率的有意义的潜在表示，该信息分辨率可以由系统设计者直接以比特来指定。速率约束可以用于防止过度训练，并且该方法自然地促进以设定速率对潜变量进行量化。我们的实验证实，BIR-VAE有一个有意义的潜在表示，其性能至少是最先进的竞争算法一样好，但具有较低的计算复杂性。
2018-07-25 cs.IT cs.LG math.IT
Understanding Autoencoders with Information Theoretic Concepts
University of Florida（佛罗里达大学）
尽管它们在实际应用中取得了巨大的成功，但仍然缺乏理论和系统的方法来分析深层神经网络。在本文中，我们说明了一种先进的信息理论方法，以了解学习的动态和自动编码器的设计，这是一种特殊类型的深度学习架构，类似于通信信道。通过将信息平面推广到任何成本函数，并使用逐层信息量检查不同层的角色和动态，我们强调了互信息在量化数据学习中的作用。我们进一步建议，并通过实验验证，均方误差训练，三个基本属性的逐层信息流和内在维度的瓶颈层，分别使用的数据处理不等式和识别的分叉点的信息平面中，是由给定的数据控制。我们的观察结果对自动编码器的优化设计，替代前馈训练方法的设计，甚至泛化问题都有直接影响。
2019-05-08 cs.IT cs.LG math.IT
An information theoretic approach to the autoencoder
University of Stirling（斯特林大学）
我们提出了一个变化的自动编码器（AE），明确最大化的输入数据和隐藏表示之间的互信息。所提出的模型，InfoMax自动编码器（IMAE），通过构造能够学习一个强大的表示和良好的原型的数据。IMAE是比较理论上，然后计算与国家的最先进的模型：在一个隐藏层设置和变分自编码器在多层的情况下的去噪和收缩自动编码器。计算实验进行了MNIST和时尚MNIST数据集，并特别证明了强大的聚类性能的IMAE。
2019-01-23 cs.LG stat.ML
Variational Information Bottleneck on Vector Quantized Autoencoders
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文对矢量量化-变分自编码器（VQ-VAE）进行了信息论解释。我们表明，原始VQ-VAE的损失函数可以从变分确定性信息瓶颈（VDIB）原则。另一方面，由期望最大化（EM）算法训练的VQ-VAE可以被视为变分信息瓶颈（VIB）原理的近似。
2018-08-02 cs.LG stat.ML
Disentangled Representation Learning with Information Maximizing Autoencoder
University of Southern Queensland（南昆士兰大学）
从任何未标记的数据中学习解纠缠表示是一个重要的问题。在本文中，我们提出了信息最大化自动编码器（InfoAE），编码器学习强大的解开表示通过最大化之间的互信息的表示和给定的信息在一个无监督的方式。我们已经在MNIST数据集上评估了我们的模型，并在使用完全无监督训练时达到了98.9（$\pm .1$）$\%$测试准确率。
2019-04-18 cs.CV cs.LG stat.ML
PRI-VAE: Principle-of-Relevant-Information Variational Autoencoders
University of Florida（佛罗里达大学）；NEC Laboratories Europe（NEC欧洲实验室）
虽然大量的努力已经取得了学习解纠缠表示下的变分自编码器（VAE）的框架，大多数VAE模型的学习动力学的基本属性仍然是未知的和调查不足。在这项工作中，我们首先提出了一个新的学习目标，称为相关信息的原则变分自编码器（PRI-VAE），学习解开表示。然后，我们提出了一个信息理论的角度来分析现有的VAE模型，通过检查一些关键的信息理论量在训练时期的演变。我们的观察揭示了与VAE相关的一些基本性质。实证结果也证明了PRI-VAE的有效性在四个基准数据集。
2020-07-13 cs.LG stat.ML
Implicit Autoencoders
Vector Institute for Artificial Intelligence（向量人工智能研究院）；University of Toronto（多伦多大学）
在本文中，我们描述了“隐式自动编码器”（IAE），生成自动编码器中的生成路径和识别路径参数化的隐式分布。我们使用两个生成对抗网络来定义隐式自编码器的重构和正则化代价函数，并基于最大似然学习推导出学习规则。使用隐式分布允许我们为自动编码器学习更具表达力的后验和条件似然分布。学习表达性条件似然分布使潜在代码仅捕获数据的抽象和高级信息，而其余的低级信息由隐式条件似然分布捕获。我们展示了隐式自动编码器在解开内容和风格信息，聚类，半监督分类，学习表达变分分布和多模式图像到图像的翻译中的应用。
2019-02-07 cs.LG stat.ML
Dueling Decoders: Regularizing Variational Autoencoder Latent Spaces
Google Research（谷歌研究院）
变分自编码器学习无监督的数据表示，但这些模型经常收敛到最小值，无法保留有意义的语义信息。例如，具有自回归解码器的变分自编码器通常会崩溃为自解码器，在自解码器中，它们学会忽略编码器输入。在这项工作中，我们证明了添加辅助解码器来正则化潜在空间可以防止这种崩溃，但成功的辅助解码任务是依赖于域的。辅助解码器可以增加潜在空间中编码的语义信息量，并在重建中可见。变分自编码器的表示中的语义信息仅与其速率、失真或证据下限弱相关。与其他修改训练目标的流行策略相比，我们对潜在空间的正则化通常增加了语义信息内容。
2019-05-17 cs.LG stat.ML
Uncertainty Autoencoders: Learning Compressed Representations via Variational Information Maximization
Stanford University（斯坦福大学）
压缩感知技术能够通过低维投影有效地采集和恢复稀疏的高维数据信号。在这项工作中，我们提出了不确定性自动编码器，这是一种受压缩感知启发的无监督表示学习框架。我们将低维投影视为自动编码器的噪声潜在表示，并直接学习采集（即，编码）和摊销恢复（即，解码）过程。我们的学习目标优化了数据点和潜在表示之间的互信息的易处理的变分下界。我们展示了我们的框架如何提供一个统一的治疗几条线的研究降维，压缩感知和生成建模。从经验上讲，我们证明了32%的改进，平均超过竞争的方法的任务，统计压缩感知的高维数据集。
2019-04-11 cs.LG cs.NE stat.ML
Gradient Augmented Information Retrieval with Autoencoders and Semantic Hashing
University of Cambridge（剑桥大学）
本文将探讨在信息检索的上下文中使用自动编码器进行语义哈希。本文将总结如何有效地训练自动编码器，以创建有意义的和低维的数据编码。本文将演示如何计算和存储最接近的编码输入查询可以帮助加快搜索时间和提高我们的搜索结果的质量。本文的新贡献涉及使用自动编码器学习的数据表示，以各种方式增强我们的搜索查询。我提出并评估了新的梯度搜索增强（GSA）方法，以及更著名的伪相关反馈（PRF）调整。研究发现，GSA有助于提高基于TF-IDF的信息检索系统的性能，而PRF与GSA相结合对本文所比较的系统的整体效果最好。
2018-03-12 cs.IR cs.LG stat.ML
Trading Information between Latents in Hierarchical Variational Autoencoders
University of Tübingen（图宾根大学）；IMPRS-IS（马克斯·普朗克智能系统研究所国际马克斯·普朗克研究学院）
变分自动编码器（VAE）最初的动机（Kingma & Welling，2014）是概率生成模型，其中执行近似贝叶斯推断。$β$ -VAE的提议（Higgins等人，2017）打破了这种解释，并将VAE推广到生成建模之外的应用领域（例如，表示学习、聚类或有损数据压缩），通过引入允许从业者在潜在表示的信息内容（“比特率”）和重构数据的失真之间进行权衡的目标函数（Alemi等人，2018年）。在本文中，我们在分层VAE的背景下重新考虑这种速率/失真权衡，即，具有多个潜在变量层的VAE。我们确定了一类一般的推理模型，其中一个可以分裂成从每一层的贡献率，然后可以独立调整。我们推导出下游任务性能的理论界限作为各个层的速率的函数，并在大规模实验中验证了我们的理论发现。我们的研究结果为从业者提供了指导，指导他们针对给定的应用程序在速率空间中的哪个区域。
2023-02-09 cs.CV cs.IT cs.LG
Learning Representations by Maximizing Mutual Information in Variational Autoencoders
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
变分自编码器（VAE）开创了复杂分布无监督学习方法的新时代。虽然这些技术在方法上很优雅，但它们通常对表示学习没有用处。在这项工作中，我们提出了一个简单而强大的VAE类，同时导致有意义的学习表示。我们的解决方案是将传统的VAE与互信息最大化相结合，目标是利用信息论技术增强VAE中的摊销推理。我们称这种方法为InfoMax-VAE，这种方法可以显着提高学习的高级表示的质量。我们实现这一点，通过显式最大化的信息措施与代表。通过对不同数据集和设置的广泛实验，我们表明InfoMax-VAE优于当代流行的方法，包括Info-VAE和$β$ -VAE。
2020-01-07 cs.CV cs.LG stat.ML
Probabilistic Autoencoder using Fisher Information
(T.A.E.) 2 Faculty of Physics, Ludwig -Maximilians-Universit \"a t M \"u nchen, Geschwister-Scholl-Platz 1, 80539 M \"u nchen, Germany
神经网络在包括物理学在内的许多科学学科中发挥着越来越重要的作用。变分自编码器（Variational Autoencoders，VAE）是一种神经网络，它能够在低维潜在空间中表示高维数据集的基本信息，具有概率解释。特别是所谓的编码器网络，VAE的第一部分，其将其输入映射到潜在空间中的位置上，另外提供了关于该位置周围的方差的不确定性信息。在这项工作中，介绍了自动编码器架构的扩展，FisherNet。在这种结构中，潜在的空间不确定性不是使用编码器中的附加信息信道生成的，而是通过费舍尔信息度量从解码器导出的。从理论的角度来看，这种架构具有优势，因为它提供了从模型中导出的直接不确定性量化，并且还考虑了不确定性互相关。我们可以通过实验证明，FisherNet比类似的VAE产生更准确的数据重建，其学习性能也明显随着潜在空间维数的增加而提高。
2021-12-07 cs.LG stat.ML
Autoencoder Models for Point Cloud Environmental Synthesis from WiFi Channel State Information: A Preliminary Study
Department of Computer Science, Sapienza University of Rome（西尔维娅大学罗马计算机科学系）
本文提出一种两阶段自编码器深度学习框架，通过将 WiFi CSI 数据映射到与 PointNet 对齐的潜在空间，实现从 WiFi 数据准确重建环境点云，验证了其在无线感知与建图中的潜力。
2025-04-29 cs.CV cs.LG
Recovering Loss to Followup Information Using Denoising Autoencoders
Simon Fraser University（西蒙弗雷泽大学）；British Columbia Cancer Agency（不列颠哥伦比亚癌症机构）
失访是医疗保健中的一个重要问题，对研究的有效性和成本有严重影响。目前可用于恢复后续信息损失的方法受到其表达能力的限制，并且难以对高度非线性关系和复杂的相互作用进行建模。在本文中，我们提出了一个模型的基础上过完备去噪自动编码器恢复损失的后续信息。设计用于处理大量数据，各种模拟和现实生活数据集的结果表明，我们的模型在不同的数据集和失访条件下是合适的，并且在很大程度上优于最先进的方法（在某些情况下是$\ge 20\%$），同时保留了数据集用于最终分析。
2018-02-12 cs.LG stat.AP stat.ML
Capacity-Approaching Autoencoders for Communications
University of Klagenfurt（克拉根福大学）
自动编码器的概念促进了现代通信系统的重新解释和设计。它由一个编码器，一个通道和一个解码器块组成，它们以端到端的学习方式修改它们的内部神经结构。然而，训练自动编码器的当前方法依赖于交叉熵损失函数的使用。这种方法可能容易出现过拟合问题，并且通常无法学习最佳系统和信号表示（代码）。此外，关于自动编码器设计接近信道容量的码的能力，即，在特定功率约束下最大化输入-输出信息的码。对于容量未知的未知信道，任务甚至更加艰巨，因此必须学习。在本文中，我们解决的挑战，设计能力接近代码的存在下，将通信信道到一个新的损失函数的自动编码器的培训。特别是，我们利用发送和接收信号之间的互信息作为交叉熵损失函数中的正则化项，目的是控制存储的信息量。通过联合最大化互信息和最小化交叉熵，我们提出了一种方法，a）计算信道容量的估计值，b）构造一个接近它的最优编码信号。
2020-09-11 cs.IT cs.LG eess.SP
InfoVAE: Information Maximizing Variational Autoencoders
Computer Science Department, Stanford University（斯坦福大学计算机科学系）
学习生成模型的一个关键进步是使用与模型联合训练的摊销推理分布。我们发现，现有的训练目标变分自编码器可能会导致不准确的摊销推理分布，在某些情况下，提高目标可证明降低推理质量。另外，已经观察到，当与过于灵活的解码分布组合时，变分自编码器倾向于忽略潜在变量。我们再次确定现有的培训标准的原因，并提出了一个新的类的目标（InfoVAE），以减轻这些问题。我们表明，我们的模型可以显着提高质量的变分后验，并可以有效地利用潜在的功能，无论解码分布的灵活性。通过广泛的定性和定量分析，我们证明了我们的模型在多个性能指标上优于竞争方法。
2018-05-30 cs.AI cs.LG stat.ML
Gacs-Korner Common Information Variational Autoencoder
University of California, Los Angeles（加州大学洛杉矶分校）；AWS AI Labs（亚马逊云科技人工智能实验室）；Caltech（加州理工学院）
该研究提出一种可经验近似的公共信息概念（含Gács-Körner公共信息特例），通过修改传统变分自编码器实现高维数据中公共与独有信息的划分量化，在图像视频等数据及已知真实潜在因子数据集上验证了有效性。
2023-11-05 cs.CV cs.IT cs.LG
Learning Style-Aware Symbolic Music Representations by Adversarial Autoencoders
Università di Pisa（比萨大学）
我们解决了具有挑战性的开放性问题，学习一个有效的潜在空间的符号音乐数据生成音乐建模。我们专注于利用对抗正则化作为一种灵活而自然的手段，将有关音乐流派和风格的上下文信息注入变分自编码器。通过本文，我们展示了如何将考虑音乐元数据信息的高斯混合物用作自动编码器潜在空间的有效先验，介绍了第一个音乐对抗自动编码器（MusAE）。在大规模基准上的实验分析表明，该模型比基于标准变分自编码器的最新模型具有更高的重建精度。它还能够在两个音乐序列之间创建逼真的插值，平滑地改变不同曲目的动态。实验表明，该模型可以组织其潜在的空间，相应的低层次属性的音乐作品，以及嵌入到潜变量的高级体裁信息注入先验分布，以提高其整体性能。这允许我们以原则性的方式对生成的片段进行更改。
2020-02-20 cs.LG cs.SD stat.ML
Analyzing Multimodal Integration in the Variational Autoencoder from an Information-Theoretic Perspective
Hamburg University of Technology（汉堡工业大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）；Federal Institute for Materials Research and Testing（联邦材料研究与测试研究所）；Santa Fe Institute（圣塔菲研究所）；Leipzig University（莱比锡大学）
本研究从信息论视角分析多模态变分自编码器的模态融合机制，提出单模态误差与精度损失两类度量指标，探究不同加权调度下潜损失对多模态融合能力的影响，为机器人系统的多模态学习提供分析依据。
2024-11-01 cs.IT cs.LG math.IT
RSAttAE: An Information-Aware Attention-based Autoencoder Recommender System
Institute for Advanced Studies in Basic Sciences (IASBS)（基础科学高级研究所）
针对提升娱乐行业客户满意度的用户-电影评分预测问题，提出基于信息感知注意力的自动编码器与XGBoost结合的方法，在MovieLens 100K数据集上优于多数现有最先进方法。
2025-02-10 cs.IR cs.LG
Binary autoencoder with random binary weights
Igor Sikorsky Kyiv Polytechnic Institute（伊戈尔·西科尔斯基基辅理工学院）
这里给出了具有二进制激活$\{0, 1\}$和二进制$\{0, 1\}$随机权重的自动编码器的分析。这样的设置将该模型置于不同领域的交叉点：神经科学，信息论，稀疏编码和机器学习。它示出的隐藏层的稀疏激活自然出现，以保持层之间的信息。此外，有足够大的隐藏层，它是可能的，得到零重建误差的任何输入，只是通过改变神经元的阈值。该模型保持了隐藏层输入的相似性，这对于密集隐藏层激活是最大的。通过分析层之间的互信息，它表明稀疏和密集表示之间的差异是有关的内存计算的权衡。该模型类似于果蝇的嗅觉感知系统，所提出的理论结果为理解更复杂的神经网络提供了有用的见解。
2020-04-30 cs.LG stat.ML
Including Sparse Production Knowledge into Variational Autoencoders to Increase Anomaly Detection Reliability
Ostwestfalen-Lippe University of Applied Sciences（东威斯特伐利亚-利珀应用科学大学）；Phoenix Contact Electronics GmbH（菲尼克斯电气电子有限公司）
数字化为生产系统带来了数据透明性，我们可以通过神经网络等数据驱动的分析方法从中受益。例如，自动异常检测可以节省资源并优化生产。我们研究使用很少发生的信息标记的异常到变分自编码器神经网络结构，以克服信息赤字的监督和无监督的方法。该方法在准确度、精确度和召回率方面优于所有其他模型。我们评估了以下方法：主成分分析，隔离森林，分类神经网络和变分自编码器在七个时间序列数据集上找到最佳的检测方法。我们扩展这个想法，包括更不经常发生的Meta信息的生产过程。稀疏标签的这种使用（异常或生产数据两者）允许利用可用于提高异常检测性能的任何附加信息。
2021-06-22 cs.AI cs.LG
Fusing Climate Data Products using a Spatially Varying Autoencoder
本研究提出一种基于贝叶斯框架、空间可变化且可识别可解释的自编码器，用于融合气候数据产品，并在高亚洲地区多个降水产品上验证其效用。
2024-03-12 cs.LG stat.AP
Understanding Variational Autoencoders with Intrinsic Dimension and Information Imbalance
CY Tech；Area Science Park（区域科学园）
本文利用内在维度和信息不平衡分析VAE隐藏表示，揭示瓶颈尺寸超过数据ID时的行为转变及两阶段训练，为架构搜索和欠拟合诊断提供新工具。
2024-11-04 cs.AI cs.LG stat.ML
A Variational AutoEncoder for Transformers with Nonparametric Variational Information Bottleneck
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）
我们提出了一个VAE的Transformers通过开发一个变信息瓶颈正则化Transformer嵌入。我们正式的嵌入空间的Transformer编码器的混合概率分布，并使用贝叶斯nonparametrics推导出一个非参数的变分信息瓶颈（NVIB），这样的注意力为基础的嵌入。由非参数方法支持的混合成分的可变数量捕获了由注意力支持的向量的可变数量，并且我们的非参数分布的互换性捕获了注意力的排列不变性。这使得NVIB能够规范注意力可访问的向量数量，以及单个向量中的信息量。通过对Transformer编解码器与NVIB的交叉注意进行正则化，提出了一种非参数变分自编码器（NVAE）。在自然语言文本上训练NVAE的初步实验表明，诱导的嵌入空间具有用于Transformers的VAE的期望属性。
2022-08-12 cs.CL cs.LG
Understanding the role of autoencoders for stiff dynamical systems using information theory
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Ansys Software Pvt. Ltd.（安sys软件私人有限公司）
本文利用信息论分析自编码器在刚性动力系统中的潜空间构建机制，揭示其通过非线性投影将物理空间稀有事件转化为潜空间高概率事件，从而降低时间刚性并识别慢不变流形。
2025-03-08 cs.LG physics.comp-ph
GCVAE: Generalized-Controllable Variational AutoEncoder
Mines Saint-Etienne（圣艾蒂安国立高等矿业学校）；Univ Clermont Auvergne（克莱蒙奥弗涅大学）；INP Clermont Auvergne（克莱蒙奥弗涅国立理工学院）；CNRS（法国国家科学研究中心）
变分自动编码器（VAE）最近已被用于复杂密度分布的无监督解纠缠学习。存在许多变体来鼓励在潜在空间中解开纠缠，同时改善重建。然而，没有一个同时管理之间的权衡实现极低的重建误差和高的解纠缠分数。我们提出了一个通用的框架来处理约束优化下的这一挑战，并证明它优于最先进的现有模型，同时平衡重建的解纠缠。我们引入三个可控的拉格朗日超参数来控制重构损失、库尔贝克-莱布勒散度损失和相关性测度。我们证明了在合理的假设和约束松弛条件下，重构网络中的信息最大化等价于摊销推理中的信息最大化。
2022-06-09 cs.LG stat.ML
Redatuming physical systems using symmetric autoencoders
Massachusetts Institute of Technology（麻省理工学院）；Indian Institute of Science（印度科学研究所）
本文考虑物理系统描述的隐藏状态和间接观察到的重复测量损坏的未建模的滋扰参数。基于网络的表示学习将相干信息（相对于状态）与不相干的干扰信息（相对于感测）分开。代替物理模型，该表示使用对称性和随机正则化来通知称为SymAE的自动编码器架构。它支持重新基准化，即，创建虚拟数据实例，其中干扰在测量中被统一。
2022-02-05 cs.LG physics.comp-ph physics.data-an
Contrastively Disentangled Sequential Variational Autoencoder
Cornell University（康奈尔大学）；Google（谷歌）
自监督解纠缠表示学习是序列建模中的一个关键任务。学习的表示有助于更好的模型可解释性以及数据生成，并提高下游任务的样本效率。我们提出了一种新的序列表示学习方法，命名为对比解纠缠序列变分自编码器（C-DSVAE），提取和分离的静态（时不变）和动态（时变）的因素在潜在的空间。与以往的序列变分自编码器方法不同，本文提出了一种新的证据下界，该证据下界最大化了输入和潜在因子之间的互信息，同时惩罚了静态和动态因子之间的互信息.我们利用训练中的互信息项的对比估计，以及简单而有效的增强技术，引入额外的归纳偏差。我们的实验表明，C-DSVAE显着优于以前的国家的最先进的方法在多个指标。
2021-10-22 cs.AI cs.LG
Multimodal Transformer for Parallel Concatenated Variational Autoencoders
University of Southern California（南加州大学）
在本文中，我们提出了一个多模态Transformer使用并行级联架构。我们使用R、G、B通道中图像的列条纹作为Transformer输入，而不是使用面片。列条纹保持了原始图像的空间关系。我们将多模态Transformer与变分自编码器相结合，用于合成跨模态数据生成。多模态Transformer使用多个压缩矩阵设计，并且它用作并行级联变分自编码器（PC-VAE）的编码器。VAE由多个编码器、一个潜在空间和两个解码器组成。编码器基于随机高斯矩阵，不需要任何训练。我们提出了一个新的损失函数的基础上的交互信息的部分信息分解。交互信息评估输入的跨模态信息和解码器输出。通过最小化损失函数来训练PC-VAE。实验进行验证所提出的多模态Transformer的PC-VAE。
2022-10-28 cs.AI cs.CV cs.LG
Semantic Autoencoder and Its Potential Usage for Adversarial Attack
自动编码器可以对输入数据进行适当的潜在表示，但这种仅基于输入数据内在属性的表示往往不足以表达某些语义信息。一个典型的情况是，在对这些表示进行聚类时可能无法形成清晰的边界。通过编码的潜在表示，不仅取决于输入数据的内容，但也输入数据的语义，如标签信息，我们提出了一个增强的自动编码器架构命名为语义自动编码器。通过t-SNE的表示分布的实验表明，这两种类型的编码器之间有明显的区别，并确认了语义的至高无上的，而这两种类型的自动编码器的解码样本表现出微弱的差异，无论是客观上还是主观上。基于这一观察，我们认为对抗攻击依赖于通过自动编码器获得的潜在表示的学习算法。结果表明，在语义编码器中引入错误标签信息后，对抗样本的潜在内容与原始输入数据的潜在内容呈现不同的分布，但两者的差异都很小。由于需要保护广泛的深度学习应用，我们的工作建立的这种新的攻击方式值得关注。
2022-05-31 cs.CR cs.LG
Squeezing bottlenecks: exploring the limits of autoencoder semantic representation capabilities
Universitat Politècnica de València（瓦伦西亚理工大学）；Institute for Infocomm Research（资讯通信研究所）
我们提出了一个全面的研究使用自动编码器建模文本数据，其中（与以前的研究不同）我们将注意力集中在以下问题上：i）我们探索了两种不同的模型bDA和rsDA在句子级别构建文本数据的深度自动编码器的适用性; ii）我们提出并评估了两种新的度量标准，以更好地评估自动编码器的文本重建能力;以及iii）我们提出了一种自动的方法来找到文本语言表示的关键瓶颈维度（低于该瓶颈维度，结构信息丢失）。
2014-02-13 cs.IR cs.LG stat.ML
Collaborative Recurrent Autoencoder: Recommend while Learning to Fill in the Blanks
Hong Kong University of Science and Technology（香港科技大学）
利用内容和评级信息的混合方法通常用于许多推荐系统中。然而，他们中的大多数使用手工制作的功能或词袋表示作为替代的内容信息，但他们既不有效，也不够自然。为了解决这个问题，我们开发了一个协作循环自动编码器（CRAE），这是一个去噪循环自动编码器（DRAE），模拟在协同过滤（CF）设置的内容序列的生成。该模型从i.i.d.中概括了循环深度学习的最新进展。输入到非i.i.d.（基于CF）输入，并提供了一个新的去噪方案以及一个新的可学习的池化方案的经常性自动编码器。要做到这一点，我们首先开发一个分层贝叶斯模型的DRAE，然后将其推广到CF设置。去噪和CF之间的协同作用使CRAE能够在学习填补序列中的空白的同时做出准确的建议。在不同领域（CiteULike和Netflix）的真实数据集上的实验表明，通过联合建模内容信息的序列的顺序感知生成和对评级执行CF，CRAE能够在基于评级的推荐任务和基于内容信息的序列生成任务上显著优于现有技术。
2016-11-02 cs.AI cs.CL cs.CV
Bilingual Learning of Multi-sense Embeddings with Discrete Autoencoders
University of Groningen（格罗宁根大学）；University of Amsterdam（阿姆斯特丹大学）
我们提出了一种方法来学习多意义词嵌入依赖于单语和双语信息。我们的模型由一个编码器和一个解码器组成，编码器使用单语和双语上下文（即平行句子）为给定的单词选择一个意义，解码器根据所选择的意义预测上下文单词。这两个分量是联合估计的。我们观察到，从双语数据诱导的单词表征优于单语同行在一系列的评价任务，即使跨语言的信息是不可用的测试时间。
2016-03-30 cs.CL cs.LG stat.ML
TVAE: Triplet-Based Variational Autoencoder using Metric Learning
Stanford University（斯坦福大学）
深度度量学习已被证明在学习语义表示和编码信息方面非常有效，这些信息可用于测量数据相似性，这依赖于从度量学习中学习到的嵌入。同时，变分自编码器（VAE）被广泛用于近似推理，并被证明对有向概率模型具有良好的性能。然而，对于传统的VAE，数据标签或特征信息是棘手的。类似地，传统的表示学习方法无法表示数据的许多突出方面。在这个项目中，我们提出了一个新的集成框架，通过结合深度度量学习来学习VAE中的潜在嵌入。通过优化VAE的平均向量上的三重损失以及VAE的标准证据下限（ELBO）来学习这些特征。这种方法，我们称之为基于三元组的变分自动编码器（TVAE），允许我们在潜在嵌入中捕获更多细粒度的信息。我们的模型在MNIST数据集上进行了测试，达到了95.60%的高三重精度，而传统的VAE（Kingma & Welling，2013）达到了75.08%的三重精度。
2023-02-08 cs.AI cs.CV cs.LG
Variantional autoencoder with decremental information bottleneck for disentanglement
Surrey Institute for People Centred AI（萨里以人为本人工智能研究所）；University of Surrey（萨里大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Jinan（济南大学）；Mintyea Tech, Inc.（茗茶科技公司）
针对变分自编码器解耦学习中解耦效果与重建保真度的权衡难题，提出带递减信息瓶颈的层级潜空间框架DeVAE，通过解耦不变变换连接潜空间，在两个数据集上验证了其平衡两者的有效性。
2023-10-04 cs.AI cs.LG
Learning Summary Statistics for Bayesian Inference with Autoencoders
Swiss Data Science Center（瑞士数据科学中心）；Università Svizzera italiana（瑞士意大利语区大学）；University of Insubria（因苏布里亚大学）
对于具有难处理的似然函数的随机模型，近似贝叶斯计算提供了一种通过重复比较观测值与模拟模型输出的一小部分汇总统计量来近似真实后验的方法。这些统计数据需要保留与约束参数相关的信息，但消除噪声。因此，它们可以被看作是一般随机模型的热力学状态变量。对于许多科学应用，我们需要比模型参数更多的汇总统计量来达到令人满意的后验近似。因此，我们建议使用基于深度神经网络的自动编码器的内部维度作为汇总统计。为了激励编码器对所有参数相关信息进行编码而不对噪声进行编码，我们向解码器提供了对关于噪声的显式或隐式信息的访问，该噪声已被用于生成训练数据。我们验证了两种类型的随机模型的经验方法。
2022-05-23 cs.LG stat.ME stat.ML
Information Theoretic-Learning Auto-Encoder
University of Florida（佛罗里达大学）
提出了神经网络变分正则化的信息理论学习（ITL）发散测度。我们还探索了ITL正则化自编码器作为变分自编码贝叶斯，对抗性自编码器和生成对抗网络的替代方案，用于随机生成样本数据，而无需显式定义分区函数。本文还形式化，生成矩匹配网络下的ITL框架。
2016-03-22 cs.LG
Implicit Rank-Minimizing Autoencoder
Facebook AI Research（Facebook人工智能研究院）；New York（纽约）
自动编码器的一个重要组成部分是潜在表示的信息容量被最小化或限制的方法。在这项工作中，代码的协方差矩阵的秩被隐式地最小化，依赖于多层线性网络中的梯度下降学习导致最小秩解的事实。通过在编码器和解码器之间插入一些额外的线性层，系统自发地学习具有低有效维度的表示。该模型被称为隐式秩最小化自动编码器（IRMAE），简单，确定性，并学习紧凑的潜在空间。我们证明了几个图像生成和表示学习任务的方法的有效性。
2020-10-14 cs.CV cs.LG stat.ML
A new Stack Autoencoder: Neighbouring Sample Envelope Embedded Stack Autoencoder Ensemble Model
Chongqing University（重庆大学）
堆栈自动编码器（SAE）作为深度网络的代表，在特征学习方面具有独特而优异的性能，受到了研究者的广泛关注。然而，现有的深度SAE关注原始样本，而没有考虑样本之间的分层结构信息。针对这一局限性，本文提出了一种新的SAE模型--相邻包络嵌入式堆栈自动编码器集成（NE_ESAE）。首先，提出了一种用于SAE输入预处理的相邻样本包络学习机制（NSELM）。NSELM通过组合相邻样本来构造样本对。此外，NSELM通过多层迭代均值聚类构造多层样本空间，考虑相似样本，生成具有层次结构信息的多层包络样本。其次，提出了一种嵌入式堆栈自动编码器（ESAE），并在每一层样本空间中进行训练，以在训练过程中和网络结构中考虑原始样本，从而更好地找到原始特征样本与深度特征样本之间的关系。第三，分别对各层包络样本进行特征约简和基分类器，输出每层样本的分类结果。最后，通过集成机制融合各层包络样本空间的分类结果。在实验部分，我们用十多个有代表性的公共数据集对算法进行了验证。结果表明，我们的方法比现有的传统特征学习方法和代表性的深度自动编码器具有更好的性能。
2022-10-25 cs.AI cs.LG
Outfit Generation and Style Extraction via Bidirectional LSTM and Autoencoder
ZOZO Research（ZOZO研究院）
当创建一套服装，风格是一个标准，在选择每一个时尚项目。这意味着风格可以被视为整体服装的一个特征。然而，在以往的各种研究服装生成，有几个方法集中在全球信息从一套。为了解决这一缺陷，我们将一个无监督的风格提取模块集成到一个模型中来学习服装。该模型将服装的款式信息作为一个整体，在不需要额外信息的情况下，能够更灵活地生成服装。此外，所提出的模型提取的风格信息是易于解释的。该模型在两个人类生成的服装数据集上进行了评估。在一个时尚项目预测任务（缺失预测任务），该模型优于基线方法。在一个风格提取任务中，该模型提取了一些容易区分的风格。在服装生成任务中，所提出的模型在控制其样式的同时生成服装。这种能力使我们能够根据不同的喜好生成时尚的服装。
2018-10-23 cs.CV cs.LG stat.ML
Discovering Influential Factors in Variational Autoencoders
Xi'an Jiaotong University（西安交通大学）；Brunel University London（布鲁内尔大学伦敦分校）；State University of New York at Buffalo（纽约州立大学布法罗分校）
本文提出通过互信息指标在变分自编码器中识别影响因素，通过实验验证其在数据重建和分类任务中的有效性。
2025-12-09 cs.LG stat.ML
Convolutional autoencoders for spatially-informed ensemble post-processing
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Heidelberg Institute for Theoretical Studies（海德堡理论研究所）
包围圈天气预报通常会显示系统误差，必须通过后处理进行校正。即使是基于神经网络的最先进的后处理方法通常也仅依赖于特定于位置的预测器，其需要将物理天气模型的空间预测场内插到目标位置。然而，潜在的有用的可预测性信息包含在输入字段内的大规模空间结构中可能会丢失在这个插值步骤。因此，我们建议使用卷积自动编码器来学习空间输入字段的紧凑表示，然后可以将其用于增强特定位置的信息作为后处理模型的额外输入。包括这种空间信息的好处证明了在德国地面站的2米温度预报的案例研究。
2022-04-08 cs.LG physics.ao-ph
Semantic Evolvement Enhanced Graph Autoencoder for Rumor Detection
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对现有谣言检测方法忽略事件传播中语义演化信息的问题，提出语义演化增强的图自编码器GARD模型，通过捕获局部和全局语义变化并结合传播结构，引入均匀性正则化器，在整体性能和早期检测上优于现有方法。
2024-04-24 cs.AI cs.CL cs.LG
Style Feature Extraction Using Contrastive Conditioned Variational Autoencoders with Mutual Information Constraints
Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯）；Starfleet Academy（星际舰队学院）
本文提出一种仅用未标注数据提取风格特征的方法，通过对比学习获取风格无关特征作为条件，并结合互信息约束训练条件变分自编码器，在MNIST、Google Fonts及自然图像数据集上验证了其有效性。
2023-03-16 cs.CV cs.LG stat.ML
Hybrid Embedded Deep Stacked Sparse Autoencoder with w_LPPD SVM Ensemble
School of Microelectornics and Communication Engineering, Chongqing University（重庆大学微电子与通信工程学院）
深度学习是一种具有很强的非线性特征变换能力的特征学习方法，在人工智能的许多领域中发挥着越来越重要的作用。深度自动编码是深度学习方法中的一种代表性方法，能够有效地提取和抽象数据集的信息。但是，它没有考虑在深特征转换过程中的深特征和原始特征之间的互补性。此外，它还存在小样本问题。为了解决这些问题，本文提出了一种新的深度自编码器-混合特征嵌入堆叠稀疏自编码器（HESSAE）。HFESAE能够在训练期间嵌入原始特征以过滤弱隐藏层输出的帮助下学习判别式深度特征。针对小样本问题限制了抽象信息的类表示能力的问题，设计了一种特征融合策略，旨在将HFESAE学习到的抽象信息与原始特征相结合，获得混合特征进行特征约简。该策略是一种基于L1正则化的混合特征选择策略，然后采用一种支持向量机（SVM）集成模型，在每个基分类器上设计并使用加权局部判别保持投影（w_LPPD）。最后，通过几个具有代表性的公共数据集验证了算法的有效性。实验结果表明，与现有的特征学习算法（包括一些有代表性的深度自动编码方法）相比，该方法具有更好的性能。
2020-02-17 cs.LG
On compression rate of quantum autoencoders: Control design, numerical and experimental realization
University of New South Wales（新南威尔士大学）；University of Science and Technology of China（中国科学技术大学）；CAS Center for Excellence in Quantum Information and Quantum Physics（中国科学院量子信息与量子科技创新研究院）；Nanjing University（南京大学）；Griffith University（格里菲斯大学）；Tsinghua University（清华大学）
量子自编码器是量子信息自动数据压缩的核心，其目标是在低维潜空间中压缩量子信息。在本文中，我们建立了一个上限的压缩率为一个给定的量子自动编码器，并提出了一种学习控制方法来训练自动编码器，以实现最大的压缩率。利用本征分解和矩阵微分理论证明了压缩率的上界，该上界由输入态的密度矩阵表示的本征值决定.给出了2-qubit和3-qubit系统的数值结果，以演示如何训练量子自动编码器以实现理论上的最大压缩，并比较了使用不同机器学习算法的训练性能。利用量子光学系统实现了一个量子自编码器，将两个2量子比特态压缩成两个1量子比特态。
2022-06-27 cs.LG cs.SY eess.SY
Heterogeneous Graph Masked Autoencoders
University of Notre Dame（圣母大学）；Brandeis University（布兰迪斯大学）
生成式自监督学习（SSL），特别是掩码自编码器，已成为最令人兴奋的学习范式之一，并在处理图数据方面显示出巨大的潜力。然而，现实世界中的图往往是异构的，这就提出了现有方法所忽略的三个关键挑战：1）如何捕捉复杂的图结构？2)如何合并各种节点属性？以及3）如何编码不同的节点位置？鉴于此，我们研究了异构图上的生成SSL问题，并提出了HGMAE，一种新的异构图掩码自编码器模型来解决这些挑战。HGMAE通过两种创新的掩蔽技术和三种独特的训练策略捕获全面的图形信息。特别是，我们首先开发了具有动态掩码率的元路径掩码和自适应属性掩码，以便在异构图上进行有效和稳定的学习。然后，我们设计了几种训练策略，包括基于元路径的边缘重建，以采用复杂的结构信息，目标属性恢复，将各种节点属性，和位置特征预测编码节点的位置信息。大量的实验表明，HGMAE在多个数据集的多个任务上优于对比和生成的最先进的基线。代码可在https://github.com/meettyj/HGMAE上获得。
2023-02-10 cs.LG
Fusing multimodal neuroimaging data with a variational autoencoder
Tri-institutional Center for Translational Research in Neuroimaging and Data Science (TReNDS), Georgia State, Georgia Tech, Emory（三机构神经影像与数据科学转化研究中心（TReNDS），佐治亚州立大学、佐治亚理工学院、埃默里大学）；Faculty of Electrical Engineering, Mathematics & Computer Science, TU Delft（代尔夫特理工大学电气工程、数学与计算机科学学院）；Lambert High School（兰伯特高中）
神经影像学研究通常涉及多种数据模态的收集。这些模态包含关于大脑的共享和相互排斥的信息。本工作旨在寻找一种可扩展的和可解释的方法来融合多种神经成像模态的信息，使用变分自编码器（VAE）。为了提供一个初步的评估，这项工作评估的表示，学习使用精神分裂症分类任务。在表示上训练的支持向量机实现分类器的接收器操作特性（ROC-AUC）的曲线下面积为0.8610。
2021-05-03 cs.LG eess.SP
Mixed Pooling Multi-View Attention Autoencoder for Representation Learning in Healthcare
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Amazon（亚马逊）；Northwestern University（西北大学）
最近，分布式表示已被用于支持医疗保健中的下游任务。医疗保健数据（例如，电子健康记录）包含来自异质源的多种数据模态，其可以提供补充信息，以及学习个性化患者表示的附加维度。为此，在本文中，我们提出了一种新的无监督编码器-解码器模型，即混合池多视图注意力自动编码器（MPVAA），它生成患者表示封装了他们的医疗概况的整体视图。具体而言，首先学习个性化的图形嵌入属于每个病人的异构医疗保健数据，然后通过多视图注意力机制，将它们之间的非线性关系集成到一个统一的表示。此外，在编码步骤中引入了混合池策略，以学习特定于每个数据模态的各种信息。针对多个任务进行的实验证明了所提出的模型在医疗保健领域最先进的表示学习方法中的有效性。
2019-10-14 cs.AI cs.LG stat.ML
Training Invertible Neural Networks as Autoencoders
Heidelberg University（海德堡大学）
自动编码器能够在无监督的情况下学习有用的数据表示，并且已经广泛用于各种机器学习和计算机视觉任务。在这项工作中，我们提出的方法，训练可逆神经网络（INNs）作为（变分）自编码器，我们称之为INN（变分）自编码器。我们在MNIST，CIFAR和CelebA上的实验表明，对于低瓶颈尺寸，我们的INN自动编码器实现了类似于经典自动编码器的结果。然而，对于大的瓶颈尺寸，我们的INN自动编码器优于其经典的同行。基于经验结果，我们假设INN自动编码器可能没有任何内在信息损失，因此不受最大层数（深度）的限制，在此之后只能实现次优结果。
2023-03-21 cs.CV cs.LG
A Latent Space Correlation-Aware Autoencoder for Anomaly Detection in Skewed Data
Virginia Tech（弗吉尼亚理工大学）
提出了一种核化自编码器，利用鲁棒的Mahalanobis距离测量潜在维度相关性，并通过最大化互信息保留原始数据相关性，以解决偏斜数据中基于重建误差的异常检测方法的局限性。
2024-02-15 cs.LG
Step-Level Sparse Autoencoder for Reasoning Process Interpretation
University of Science and Technology of China（中国科学技术大学）
提出步骤级稀疏自编码器（SSAE），通过条件稀疏化形成信息瓶颈，将推理步骤中的增量信息与背景信息分离为稀疏特征，用于解释大语言模型的推理过程。
2026-07-01 cs.LG
